元数据采集建表

元数据采集建表

使用场景：用户需要创建表与外部数据源结构类似的数据表时，可通过采集来源库表元数据并对其简单修改后新建表，以提高建表效率。

使用角色：数据集成人员、数据开发人员。

功能描述：平台提供元数据采集建表能力，支持选择多种类型的数据库中的多张数据表，快速获取对应表的字段元数据信息并填充至建表界面，并可完善基础信息、高级配置，确认后完成建表。

采集来源

1. 进入资源管理 > 数据表管理 > 全仓数据表管理界面，点击列表上方的“新建数据表”按钮，选择下拉框中的“元数据采集建表”。
   
2. 进入元数据采集界面后，选择采集库类型及需采集的具体来源库名称，目前支持数据库类型包括 HexaDB、MySQL、Oracle、PostgreSQL、SQL Server、DM、KingbaseES、HighGo、MongoDB。
3. 选择所需采集对象，即数据表或MongoDB文件。

元数据解析

确定采集对象后，点击“确定”按钮，即可自动完成元数据采集。

采集逻辑说明：

• 每个采集对象都会生成一个独立的建表标签页，一次采集最多支持同时50张表，即最多同时存在50个标签页；
• 用户可多次添加采集对象，直至同时存在标签页达到50个限制；但可通过关闭或保存来减少标签页数量，从而可以继续添加
• 采集字段提供部分字段类型默认值，并可在批量配置中自主新增字段类型默认值配置；
• 采集不会执行建表语句，且不会在数据表管理列表中出现记录；
• 采集内容保存时仅校验当前标签页，校验通过则立即完成当前页内容建表，并进入下一个表标签页，直至所有标签页建表完成。

采集结果说明：

• 每个标签页都具备完整的建表信息，包括基本信息、字段信息、高级配置
• 基本信息
  • 数据表中英文名：采集来源表名后写入，支持修改；
  • 责任人：默认当前用户，新建时支持用户修改；后续只可由空间管理员修改
  • 提供方：默认当前用户所属组织；
  • 资源标签：默认STG；
  • 关联目录、业务系统、描述，与单独建表逻辑一致（支持设置一个页面的业务系统后，通过批量设置应用所有表）。
  • 数据分级：非必填，下拉选择空间管理员在系统管理 > 数据分级中定义的数据分级；
  • 共享方式：非必填，不可修改，根据所选数据分级，联动显示该分级关联的共享方式；
  • 参考依据：非必填，下拉选择（可多选）标准文件名称，支持按名称模糊搜索；
  • 描述：非必填，填写该表的业务描述信息。
• 字段信息
  • 字段中英文名称：自动填充采集来源中的字段英文名，支持修改；
  • 字段类型：自动填充采集来源中的字段类型，会按字段映射自动转换，不兼容类型会提示推荐类型，支持修改；
  • 非空：默认为不勾选，勾选后则所在列的数据不能为空；
  • 脱敏规则：支持下拉选择已配置脱敏规则，当前选择仅为手动标记为敏感，需脱敏处理确认后，则数据预览、消费时会按所选脱敏规则进行动态脱敏；
  • 字段引用：点击单选引用主数据字段或标准字段，引用后回显所选引用字段，并自动将主数据/标准字段的字段信息进行填充，以规范字段内容。

注意

• “引用字段”、“数据分布配置”、“高级配置”等详细配置参见单独建表。

相关术语

主键 索引 分区 数据分布 行存 列存 数仓层级 资源标签 标准字段 主数据 数据分级