批量库表导入
业务场景
MySQL数据表批量同步至平台数仓。
前提条件
- 平台部署完毕，批量同步服务正常；
- 用户拥有数据源管理、批量数据模块权限
- MySQL数据库开放JDBC连接。
使用限制
- 数据库适配：支持的mysql数据库版本：5.7，8.0.x ；驱动版本：8.0.28；
- 说明：其他数据库同样支持批量库表导入，但数据库支持版本存在差异。
- 库表限制：使用“批量库表导入”节点，最多同时选择30张来源表。
操作流程
第一步：注册mysql数据源
1）在资源管理 > 数据源管理中配置mysql数据源，填写数据库地址、端口、用户名、密码等信息.
2）连通性测试：点击【测试连通性】，确保数据源连接正常。若连通失败，可根据mysql版本，在“资源管理 > 数据源管理 > 数据源驱动”中上传对应驱动文件，再更换数据源中的驱动，重新测试连通性。
第二步：创建目标表
方式1：快速建表
在数据开发 > 批量数据 > 数据加工页面新建数据加工作业，选择【批量库表导入】节点来源库与来源表后，可通过【批量创建目标表】快速创建与源表相同结构的多个目标表；同理，选择【库表导入】节点后，可快速创建单个目标表。完善目标表基础信息等配置后，即完成目标表创建。
方式2：常规建表
在资源管理 > 数据表管理中，通过【新建数据表】，支持以多种方式创建目标表，以“单独建表”为例，依次配置表基础信息、表字段信息，保存即可。
第三步：创建数据加工作业
1）在数据开发 > 批量数据 > 数据加工操作中点击【新建作业】，可选择【批量库表导入】或【库表导入】节点依次选择来源库、来源表、已配置的目标表。更多细节配置可查看库表导入节点介绍。
说明：【库表导入】节点一次只能选择单张来源表；【批量库表导入】节点一次可选择最多30张来源表，节点保存后自动拆分为多个单表的库表导入节点。
2）字段映射配置：首先通过【同名映射】配置来源表与目标表的字段映射关系，剩余字段可手动点击连线，若不支持映射，还可通过超管视角下的“字段映射配置”补充字段映射关系后，再次连线即可。
3）以上配置完成后，保存即可完成作业创建。在左侧作业列表选择作业并完成调度配置后，再点击【上线】即可上线作业。
第四步：运维监控
1）调度管理：在运维监控_调度管理找到对应作业，点击【查看作业任务】可查看运行详情，主要信息包含作业任务调度明细、各调度的导入数据量、日志下载、节点任务血缘等。
2）告警通知：若需监控作业状态，特别是运行失败，可在个人中心 > 消息通知中配置告警，支持邮件、钉钉群通知。对象类型选择“数据加工”、对象名称填写需监控的作业名称，通知类型选择“作业运行”，作业运行失败时，可发送消息通知。
