数据信道管理

使用场景：用户需要接入流式信道数据时，需先完成topic的注册。

使用角色：数据开发人员。

功能描述：平台支持自行维护topic信道及消息类型，供后续在信道作业中使用。

信道配置

平台支持创建单消息类型、多消息类型的topic作为后续数据信道作业的数据来源。

注意

多消息类型和单消息类型均是对同一个topic进行消费，只是多消息类型可对topic中的字段按消息类型进行自主组合，以实现不同信道作业消费topic中的不同字段。例如：

- 消息类型A  {"name":"test","age":12,"test_key":"A001"}
- 消息类型B  {"name":"test","address":"wuhan","city":"wuhan","test_key":"A002"}

单消息信道

进入数据开发 > 实时数据 > 数据信道管理界面，点击左侧目录栏中“新建Topic”按钮，在弹窗中选择单消息类型，用户根据页面内容填写信息后“保存”即可。

填写项说明：

基础信息：
- kafka 数据源：非必填，下拉选择在资源管理 > 数据源管理中维护好的 kafka 数据源；
  注意
  - 若开启资源权限管控，则来源库将过滤不显示当前用户无权限数据源，即不允许同步无权限的Kafka数据源
- Topic 名称：必填，点击输入Topic 名称，支持中英文，名称后默认追加当前用户所在空间名称；
- 提供方：必填，下拉选择组织机构，即该 Topic 的来源组织；
- 业务系统：非必填，下拉选择资源管理 > 资源盘点中的业务系统；
- 描述：非必填，填写该 Topic 的业务描述信息。
配置信息：
- 消息格式：必填，根据实际消息格式选择，支持JSON，CANAL_JSON;
- 字段英文名：必填，填写字段英文名称，同一Topic不可重复；
  注意
  - 若选择已注册Kafka数据源，则Topic字段须与所选数据源一致，后续可消费该数据源的信道数据；若不选择，则可按需创建Topic字段，平台将使用自带Kafka创建对应Topic，后续需额外通过SDK等方式写入数据至该Topic；
- 字段类型：必填，下拉选择所需字段类型，仅可选择平台底层数据库支持的字段类型；
- 批量解析字段：对于结构已知的topic，可将其json样例数据填入后自动解析为字段，无需逐一新增字段，最大支持500个字段解析。
  注意
  - 支持解析int、decimal、varchar、bool、date、timestamp等字段类型，其余不支持字段类型则在“字段类型”列填充为空，如"tags": ["Fashion", "Winter", "Men"]字段值为多个枚举值，则字段类型填充为空
  - 不支持解析嵌套json，仅解析最外层字段为json类型，嵌套内容不解析
  - 当json内容有误时，外框文案仅提示格式有误，但在编辑器中通过红色下划线标注错误位置

数据信道管理

多消息信道

进入数据开发 > 实时数据 > 数据信道管理界面，点击左侧目录栏中“新建Topic”按钮，选择多消息类型，根据页面内容填写信息后“保存”即可。

填写项说明：

基础信息：
- kafka 数据源：非必填，下拉选择在资源管理 > 数据源管理中维护好的 kafka 数据源；
  注意
  若开启资源权限管控，则来源库将过滤不显示当前用户无权限数据源，即不允许同步无权限的Kafka数据源
- Topic 名称：必填，点击输入Topic 名称，支持中英文，名称后默认追加当前用户所在空间名称；
- 消息类型 key：必填，输入消息类型 key；
- 提供方：必填，下拉选择组织机构，即该 Topic 的来源组织；
- 业务系统：必填，下拉选择资源管理 > 资源盘点中的业务系统；
- 描述：非必填，填写该 Topic 的业务描述信息。
配置信息：
- 消息类型编码：必填，手动输入，只能小写字母、数字、下划线组合，首字母小写，长度60，同一Topic中类型编码不可重复；
- 消息类型名称：必填，手动输入，可输入任意字符，长度100，同一Topic中类型名称不可重复；
- 消息格式：必填，根据实际消息格式选择，支持JSON，CANAL_JSON; 后续作业同步时将根据对应格式进行解析，请确保所选格式与来源消息格式保持一致；
- 字段信息：至少需添加一个字段；
  - 字段英文名：必填，填写字段英文名称，同一Topic中不可重复； :::tip 注意
  - 若选择已注册Kafka数据源，则Topic字段须与所选数据源一致，后续可消费该数据源的信道数据；若不选择，则可按需创建Topic字段，平台将使用自带Kafka创建对应Topic，后续需额外通过SDK等方式写入数据至该Topic； :::
  - 字段类型：必填，下拉选择所需字段类型；
  - 批量解析字段：对于结构已知的topic，可将其json样例数据填入后自动解析为字段，无需逐一新增字段，最大支持500个字段解析。
    注意
    支持解析int、decimal、varchar、bool、date、timestamp等字段类型，其余不支持字段类型则在“字段类型”列填充为空，如"tags": ["Fashion", "Winter", "Men"]字段值为多个枚举值，则字段类型填充为空
    不支持解析嵌套json，仅解析最外层字段为json类型，嵌套内容不解析
    当json内容有误时，外框文案仅提示格式有误，但在编辑器中通过红色下划线标注错误位置

数据信道管理

删除消息类型：点击操作列的“删除消息类型”按钮，经二次确认后可删除消息类型；
添加消息类型：支持添加多个消息类型，每个消息类型包括消息类型编码、消息类型名称、字段信息；存在多个消息类型可对任意消息类型进行删除，直至只剩一个则不可删。

修改

进入数据开发 > 实时数据 > 数据信道管理界面，选择目标信道后点击列表操作栏“修改”按钮，可修改信道信息，相关约束如下：

关联的流式加工作业、信道作业中存在运行中状态，topic修改保存时将提示不允许修改
关联的流式加工作业、信道作业均为非运行中，允许修改topic任意内容，但请注意修改后对关联作业的影响，如topic名称、字段名称变更后，流式加工的声明表信息将同步变更，从而导致SQL内容错误

删除

进入数据开发 > 实时数据 > 数据信道管理界面，选择目标信道后点击列表操作栏“删除”按钮，可删除对应信道，相关约束如下：

未关联任何作业的topic可二次确认后直接删除
已关联流式加工作业，需解除关联后方可删除；已关联信道作业中存在运行中状态，需暂停对应信息作业后方可删除
topic删除后，会同步删除其关联的信道作业，但不会删除流式加工作业

连接信息配置

数据信道连接信息

使用场景：数据开发人员通过数据信道连接信息创建平台topic后，用以消费外部的流式数据。

使用角色：数据开发人员

功能描述：数据开发人员确定需要集成的数据后，使用平台的信道管理创建topic，通过 “连接信息” 直连平台数据信道，对已有的流式数据通过平台的信道进行消费，实现数据集成。

操作流程：

进入数据开发 > 实时数据 > 数据信道管理界面，点击 “连接信息” 即可查询数据信道登录信息，提供的信息包括Kafka地址、用户名及密码。
当新建Topic时未使用已注册Kafka数据源，可通过该连接信息将平台Topic与自定义的数据来源建立通信，以确保信道数据能够正常消费。

数据信道管理

注意

空间管理员拥有管理数据信道连接信息的权限，包括锁定和冻结账号，详细参见：系统管理 > 连接管理；
该连接信息为空间内共享，即同一个空间使用同一套连接信息；
数据信道登录账号在创建后处于 “未激活” 状态，未激活状态的账号不需要提供原密码就可以设置新密码，设置之后即进入 “已激活” 状态，已激活账号修改密码必须提供账号原密码。

最佳实践

数据集成-Kafka信道导入

信道配置​

单消息信道​

多消息信道​

修改​

删除​

连接信息配置​

相关术语​

最佳实践​

信道配置

单消息信道

多消息信道

修改

删除

连接信息配置

相关术语

最佳实践