规范诊断
使用场景:数据开发人员诊断存在规范隐患的数据表。
使用角色:数据开发人员。
功能描述:平台提供了主数据管理、标准字段管理能力,都可作为数据规范管理的基准依据,通过标准诊断,即可了解全仓数据结构和行级数据的规范性情况。
当发生以下情况时,用户可前往数据规范 > 规范诊断查看问题隐患:
- 用户维护了主数据,可诊断疑似要引用主数据但实际未引用的数据表;
- 数据表引用了主数据字段,可诊断已引用主数据但数据一致性存在问题的数据表;
- 用户维护了标准字段,可诊断疑似要引用标准字段但实际未引用的数据表;
- 数据表引用了标准字段,可诊断已引用标准字段但数据值域不满足的数据表。
主数据引用诊断
统计对象配置
- 统计对象切换:点击下拉框切换已配置好的自定义统计对象,当前统计数据自动刷新;
- 自定义对象:支持自定义添加统计对象,包括定义对象名称、配置风险等级阈值、关联统计对象(单个统计对象最多可关联10张表),仅关联的对象参与诊断统计,且满足值域后自动归为对应风险等级
- 主数据标准风险等级C=(该表实际引用了主数据且数据一致的列数量)/(该表应引用主数据与已引用主数据的列数量并集)
立即诊断
- 诊断触发:点击“立即诊断”按钮,立即触发主数据引用诊断任务执行,诊断期间按钮将禁用,可在运维监控 > 调度管理页面中的“后台任务”标签页查看诊断任务执行情况
- 诊断范围:诊断任务将对当前页面所选“统计对象”中关联的数据表进行诊断
- 诊断结果:诊断任务执行完成且成功后,将立即在当前页面更新诊断结果;若任务执行失败,将不进行结果更新,保留显示之前结果
由于诊断任务可能对资源消耗较大,因此同一个空间同时只能有一个扫描作业,包括主数据/标准字段规范诊断、安全诊断、敏感识别,三类任务同时只能运行一个
诊断数据展示
诊断概览
- 主数据标准隐患表总数量:应引用和已引用数据表之和,去重,即同时存在两种结果的数据表只记为1;
- 应引用主数据的表数量:进行主数据检测结果不为空的表数量;
- 已引用但数据不一致的表数量:行数据一致性校验,不一致数据量不为0的表数量。
隐患-按数仓层级/按业务系统
诊断信息分别从数仓层级和业务系统统计诊断情况。
点击“查看”,可查看诊断结果列表,并点击“诊断详情”可查看数据表诊断详细信息,并支持诊断结果导出。
- 诊断逻辑:
- 对所选统计对象中未引用主数据,且未引用标准字段的数据表进行主数据检测,若检测出应当引用主数据的字段,则数据表进入列表,诊断结果为“应引用主数据”,诊断详情中列出该表应引用主数据的字段;
- 对所选统计对象中已引用主数据的数据表进行一致性校验,若校验结果中不一致数据量不为0,则数据表进入列表,诊断结果为“已引用但数据不一致”,诊断详情中列出该表各引用字段的不一致数量,并提供结果明细excel下载,每个主数据模型对应excel中的一个sheet页。
一致性逻辑说明:系统将通过标识字段将诊断表中的数据和主数据中数据进行匹配,当匹配成功后,再进行各引用列的该行的值进行比对,存在任一行匹配上但值不一致则判定该列为“已引用但数据不一致”;未匹配上的数据,由于无法判断值是否一致,不会判定为不一致,示例如下图。
风险等级-全仓对象/按数仓等级
按照统计对象或按数仓层级统计风险等级如下图所示:各风险等级由统计配置计算而来。
点击“查看”,可查看主数据风险等级详情。
标准字段引用诊断
统计对象配置
- 统计对象切换:点击下拉框切换已配置好的自定义统计对象,当前统计数据自动刷新;
- 自定义对象:支持自定义添加统计对象,包括定义对象名称、配置风险等级阈值、关联统计对象(单个统计对象最多可关联10张表),仅关联的对象参与诊断统计,且满足值域后自动归为对应风险等级
- 标准字段风险等级C=(该表实际引用了标准字段且满足值域的列数量)/(该表应引用标准字段及已引用标准字段的列数量并集)
立即诊断
- 诊断触发:点击“立即诊断”按钮,立即触发标准字段引用诊断任务执行,诊断期间按钮将禁用,可在运维监控 > 调度管理页面中的“后台任务”标签页查看诊断任务执行情况
- 诊断范围:诊断任务将对当前页面所选“统计对象”中关联的主数据+数据表进行诊断
- 诊断结果:诊断任务执行完成且成功后,将立即在当前页面更新诊断结果;若任务执行失败,将不进行结果更新,保留显示之前结果
由于诊断任务可能对资源消耗较大,因此同一个空间同时只能有一个扫描作业,包括主数据/标准字段规范诊断、安全诊断、敏感识别,三类任务同时只能运行一个
诊断数据展示
诊断概览
- 字段标准隐患表总数量:应引用和已引用数据表之和,去重,即同时存在两种结果的数据表只记为1;
- 应引用字段标准的表数量:进行标准字段检测结果不为空的表数量;
- 已引用但值域不满足的表数量:进行数据值域校验,不满足数据量不为0的表数量。
隐患-按数仓层级/按业务系统
诊断信息分别从数仓层级和业务系统统计诊断情况。
点击“查看”,可查看诊断结果列表,并点击“诊断详情”可查看数据表诊断详细信息,并支持诊断结果导出。
- 诊断逻辑:
- 对所选统计对象中未引用标准字段,且未引用主数据的数据表进行标准字段检测,若检测出应当引用标准字段的字段,则数据表进入列表,诊断结果为“应引用标准字段”,诊断详情中列出该表应引用标准字段的字段;
- 对所选统计对象中已引用标准字段的数据表进行值域校验(且标准字段值域不为空),即对引用标准字段列的所有行的值与标准字段所设置值域进行比对,若存在值不在值域内的数据行,则数据表进入列表,诊断结果为“已引用但数据值域不满足”,诊断详情中列出该表各引用字段的不满足数量,不提供结果下载。
风险等级-全仓对象/按数仓等级
按照统计对象或按数仓层级统计风险等级如下图所示: 各风险等级由统计配置计算而来。
点击“查看”,可查看主数据风险等级详情。