元数据采集建表
元数据采集建表
使用场景：用户需要创建表与外部数据源结构类似的数据表时，可通过采集来源库表元数据并对其简单修改后新建表，以提高建表效率。
使用角色：数据集成人员、数据开发人员。
功能描述：平台提供元数据采集建表能力，支持选择多种类型的数据库中的多张数据表，快速获取对应表的字段元数据信息并填充至建表界面，并可完善基础信息、高级配置，确认后完成建表。
采集来源
- 进入资源管理 > 数据表管理 > 全仓数据表管理界面，点击列表上方的“新建数据表”按钮，选择下拉框中的“元数据采集建表”。
- 进入元数据采集界面后，选择采集库类型及需采集的具体来源库名称，目前支持数据库类型包括 HexaDB、MySQL、Oracle、PostgreSQL、SQL Server、DM、KingbaseES、HighGo、MongoDB。
- 选择所需采集对象，即数据表或MongoDB文件。
元数据解析
确定采集对象后，点击“确定”按钮，即可自动完成元数据采集。
采集逻辑说明：
- 每个采集对象都会生成一个独立的建表标签页，一次采集最多支持同时2000张表，即最多同时存在2000个标签页；
- 用户可多次添加采集对象，直至同时存在标签页达到上限；但可通过关闭或保存来减少标签页数量，从而可以继续添加
- 采集字段提供部分字段类型默认值，并可在批量配置中自主新增字段类型默认值配置；
- 采集不会执行建表语句，且不会在数据表管理列表中出现记录；
采集结果说明：
- 每个标签页都具备完整的建表信息，包括基础信息、字段信息、高级配置
- 基础信息
- 数据表中英文名：采集来源表名后写入，支持修改；
- 责任人：默认当前用户，新建时支持用户修改；后续只可由空间管理员修改
- 提供方：默认当前用户所属组织；
- 资源标签：默认STG；
- 关联目录、业务系统、描述，按需手动填写，与单独建表逻辑一致（支持设置一个页面的业务系统后，通过批量设置应用所有表）。
- 数据分级：按需手动填写，非必填，下拉选择空间管理员在系统管理 > 数据分级中定义的数据分级；
- 共享方式：非必填，不可修改，根据所选数据分级，联动显示该分级关联的共享方式；
- 参考依据：按需手动填写，非必填，下拉选择（可多选）标准文件名称，支持按名称模糊搜索；
- 描述：按需手动填写，非必填，填写该表的业务描述信息。
- 字段信息
- 字段中英文名称：自动填充采集来源中的字段英文名，支持修改；
- 字段类型：自动填充采集来源中的字段类型，会按字段映射自动转换，不兼容类型会提示推荐类型，支持修改；
- 字段长度：自动填充采集来源中的字段长度，若未采集则自动填充对应默认值
- 字段精度：自动填充采集来源中的字段精度，若未采集则自动填充对应默认值
- 非空：默认为不勾选，勾选后则所在列的数据不能为空；
- 默认值：自动填充采集来源中的字段默认值，若未采集可手动填写
- 脱敏规则：支持下拉选择已配置脱敏规则，当前选择仅为手动标记为敏感，需脱敏处理确认后，则数据预览、消费时会按所选脱敏规则进行动态脱敏；
- 字段引用：点击单选引用主数据字段或标准字段，引用后回显所选引用字段，并自动将主数据/标准字段的字段信息进行填充，以规范字段内容。
注意
- 字段信息、高级配置等内容均支持自动采集，但不同数据源类型可能存在部分配置无法采集，若未采集可手动填写；
- “引用字段”、“数据分布配置”、“高级配置”等详细配置参见单独建表。
各数据源元数据采集清单
| 源库类型 | 支持采集长度精度 | 不支持采集长度精度 | 其他信息采集 |
|---|---|---|---|
| MYSQL | varchar/char/decimal | timestamp/timestaptz | 支持空/非空/默认值/多个主键/分区（字段）/多个索引；不支持表达式写法的分区字段；不支持range分区；Mysql没有interval分区 |
| ORACLE | varchar/char/decimal | timestamp/timestaptz | 支持空/非空/默认值/多个主键/分区（字段）/多个索引；不支持表达式写法的分区字段；不支持range分区；索引类型为normal，默认转化为BETREE |
| PostgreSQL | varchar/char/decimal | timestamp/timestaptz | 支持空/非空/默认值/多个主键/分区（字段）/多个索引；选择数据表显示主表和副表 |
| SQLSERVER | varchar/char/decimal | timestamp/timestaptz | 支持空/非空/默认值/多个主键//多个索引；不支持任何分区；索引类型为NONCLUSTERED，默认转化为BETREE |
| DM | varchar/char/decimal | timestamp/timestaptz | 支持空/非空/默认值/多个主键/分区（字段）/多个索引；支持range、hash分区，不支持interval分区 |
| HIGHGO | varchar/char/decimal | timestamp/timestaptz | 支持空/非空/默认值/多个主键/分区（字段）/多个索引； |
| KINGBASE | varchar/char/decimal | timestamp/timestaptz | 支持空/非空/默认值/多个主键/分区（字段）/多个索引； |
| HEXADB | varchar/char/decimal | timestamp/timestaptz | 支持空/非空/默认值/多个主键/分区（字段）/多个索引；支持各分区类型，支持存储方式 |
- 建表
- 逐一建表：点击后仅校验当前标签页，校验通过则立即完成当前页内容建表，并进入下一个表标签页，直至所有标签页建表完成。
- 批量建表：请先通过批量配置完成基础信息中的必填项统一配置，再点击按钮后会将所有页签的数据表全部提交建表，单次最多支持2000张表，若存在建表校验不通过的数据表，则自动取消建表，并停留在报错的数据表标签页；批量建表无法对各表进行个性化高级配置，如若需要请使用“逐一建表”进行单表配置逐一确定。