跳到主要内容

实时数据导入

业务场景

用户可创建实时同步作业,可通过监听来源库日志,实时获取数据变更信息,从而实现数据的实时增量更新,以提升数据集成效率,满足对数据时效性要求较高的场景。

前提条件

  • 平台部署完成,产品规格包含实时数据模块,且服务正常
  • 用户拥有实时数据模块权限

使用限制

  • 实时数据同步来源库暂仅支持MySQL、Oracle数据源
  • 分表限制:向同一张目标表同步数据的来源表不超过100张
  • 同步策略:来源数据表有主键时,默认按照主键进行增量数据同步

操作流程

第一步:注册数据源
选择资源管理 > 数据源管理,在页面列表左上角点击“新建数据源”按钮,在右侧的配置抽屉中选择数据源类型后,根据各数据源的配置项完成信息填写,并“测试连通性”通过后保存。

注意

说明:当前日志增量实时同步仅支持MySQL、Oracle两种数据类型。

最佳实践

第二步:创建实时数据同步作业
选择数据开发 > 实时数据 > 实时数据同步,可根据需要在页面左侧分组树中新建分组,以便对作业进行分类管理。在页面列表左上角点击“新建数据同步”按钮,进入作业新建页面,按照页面信息项进行填写配置,保存后生效,详细配置可在实时数据同步作业中查看。

实时数据同步

作业适用场景说明:

①来源表无主键:当所选来源表无主键时,可正常同步,但修改数据操作将按配置的同步策略进行忽略或新增,删除数据操作会忽略处理;

②来源表有主键:当所选来源表有主键时,可正常按主键自动进行增量同步,但须保证主键字段映射配置正确且数据唯一非空;

③同源单表/多表同步:当前一个实时数据同步作业,仅支持从一个数据库中选择来源表,可以选择一个来源表,也支持批量选择最多100张来源表进行同步;

④一对一/多对一同步:当前同一个作业中来源表不允许重复,但目标表允许重复,即可以来源目标一对一,也可以多个来源向同一个目标进行同步;

⑤跨源跨作业同步:当存在多个数据源中的来源表需向同一个目标表同步数据时,可创建多个不同源的实时同步作业并选择同一目标表进行同步。

第三步:作业启动运行
选择数据开发 > 实时数据 > 实时数据同步 ,在作业列表中选择刚刚创建好的实时数据同步作业,此时作业为“未开始”状态,在操作列的“更多操作”下,点击“运行”按钮即可启动作业运行。

注意

说明:由于支持跨源跨作业同步,因此运行时会需用户确认是否清空目标表,若不清空,则可保留其他作业已同步数据,当前作业在此基础上继续同步。

最佳实践

作业运行说明: ①全量阶段:新创建的作业,初始将会自动对来源表中的存量数据进行全量的同步 ②增量阶段:全量数据同步完成后即进入增量阶段,将会持续监控数据库日志,发生数据更新即时解析后完成增量数据同步

第四步:作业监控与运维
1)选择数据开发 > 实时数据 > 实时数据同步,在作业列表中选择所关注的作业,在操作列的“更多操作”下,点击“运行详情”可查看作业运行信息,包括通过来源表与目标表数据量大致了解数据同步情况,并提供运行日志下载。

最佳实践

作业状态监控与维护操作说明:

  1. 异常终止:系统会持续监控各实时同步作业的运行状态,当来源或目标发生数据源、数据表、数据记录等异常变更,或网络等异常状况,均会触发作业变更为“异常终止”,此时无变更可通过“运行”进行重试恢复,或“停止”操作对作业进行变更维护。

  2. 暂停:处于“运行中”状态的作业可点击暂停,作业状态变更为已暂停,暂停后仅可维护作业基本信息及字段映射配置;暂停后再运行,作业将从暂停点位继续运行。

  3. 停止:处于“运行中”、“已暂停”、“异常终止”状态可点击停止,作业状态变更为已停止,停止后除无法变更来源库,其他信息均可进行维护变更,以排除异常变更造成的配置错误;停止后再运行,作业从头开始重新同步。

最佳实践

2)告警通知:若需监控作业状态,特别是运行失败,可在个人中心 > 消息通知中配置告警,支持邮件、钉钉群通知。对象类型选择“实时作业”、对象名称填写需监控的作业名称,通知类型选择“作业运行”,作业运行失败时,可发送消息通知。 最佳实践