跳到主要内容

质检评分

业务场景

用户对数据表进行质检,获取质检结果详情及合规得分,并生成质量报告。

前提条件

  • 平台部署完毕,数据质检服务正常;
  • 用户拥有数据质检模块权限

使用限制

  • 一个质检作业仅可质检一张表

操作流程

第一步:准备数据表

资源管理 > 数据表管理 > 全仓数据表管理界面,确保该页面已有所需质检的数据表,且表中有数据。若无所需数据表,可通过新建表并导入数据,或批量数据加工完成数据表及数据的准备。本实践中以提前准备好所需的学生成绩表。 最佳实践

第二步:配置质量特性系统管理 > 评估体系 > 质量特性界面,配置所需的质量特性,用于后续按质量特性维度进行质量得分评估,也可直接使用平台内置的质量特性。 最佳实践

第三步:新建质检作业

1)在数据质检 > 质检作业页面中点击“新建质检作业”,在新建页面完成配置作业基础信息填写。
最佳实践

2)质检资产:选择所需质检的数据表,系统会自动显示该表的基础信息。同时,若质检资产中数据量较大,可配置“质检数据抽样”,以实现快速抽样质检。 最佳实践

注意
  • 质检数据抽样为随机抽样,由于每次抽样数据可能不同,因此质检结果可能存在差异。

3)质检规则:点击“新建”按钮,可选择质检规则及其作用对象,则将按所选规则对作用对象的数据进行质检扫描;再配置比较方式及期望值,则将会把期望值与实际质检命中行进行比较,已判定该规则是否质检通过。更多细节配置可查看质检作业介绍 最佳实践

4)评分配置:点击“质量评分配置”,可新增多个质量评分规则,每个规则可选择所需“质量特性”,设置各特性的权重,并关联已创建的质检规则,后续则基于规则结果通过加权算法计算质量得分。 最佳实践

5)保存质检作业,并对当前作业完成调度配置后,再点击【上线】即可上线作业,按调度自动质检。

第四步:查看质检详情

1)在数据质检 > 质检详情页面中,以数据表的维度展示了各表一定时间内的质检结果,包括总体质量等级、质量评分、各规则的命中情况等。

注意
  • 质检详情统计周期为T+1,即当天质检的结果无法立即查看。

最佳实践
最佳实践

第五步:生成质量报告 1)在数据质检 > 质量报告页面中,点击“配置质量报告”,选择对象、周期,则会将所选质检资产在对应周期内的质检结果生成质量报告,并可在列表中“下载”已生成的报告至本地查看。 最佳实践

注意
  • 报告对象仅显示已质检过的资产
  • 质检资产若在所选周期内未质检,则报告中相关结果会暂无数据

第六步:作业运维监控

1)调度管理:在运维监控_调度管理找到对应作业,点击【查看作业任务】可查看运行详情,主要信息包含作业任务调度明细、各调度的运行结果、日志下载等。
最佳实践
2)告警通知:若需监控作业状态,特别是运行失败、质检不通过,可在个人中心 > 消息通知中配置告警,支持邮件、钉钉群通知。对象类型选择“质检作业”、对象名称填写需监控的作业名称,通知类型选择“作业运行”,作业运行失败时,可发送消息通知。 最佳实践