质检评分
业务场景
用户对数据表进行质检,获取质检结果详情及合规得分,并生成质量报告。
前提条件
- 平台部署完毕,数据质检服务正常;
- 用户拥有数据质检模块权限
使用限制
- 一个质检作业仅可质检一张表
操作流程
第一步:准备数据表
在资源管理 > 数据表管理 > 全仓数据表管理界面,确保该页面已有所需质检的数据表,且表中有数据。若无所需数据表,可通过新建表并导入数据,或批量数据加工完成数据表及数据的准备。本实践中以提前准备好所需的学生成绩表。
第二步:配置质量特性
在系统管理 > 评估体系 > 质量特性界面,配置所需的质量特性,用于后续按质量特性维度进行质量得分评估,也可直接使用平台内置的质量特性。
第三步:新建质检作业
1)在数据质检 > 质检作业页面中点击“新建质检作业”,在新建页面完成配置作业基础信息填写。
2)质检资产:选择所需质检的数据表,系统会自动显示该表的基础信息。同时,若质检资产中数据量较大,可配置“质检数据抽样”,以实现快速抽样质检。
- 质检数据抽样为随机抽样,由于每次抽样数据可能不同,因此质检结果可能存在差异。
3)质检规则:点击“新建”按钮,可选择质检规则及其作用对象,则将按所选规则对作用对象的数据进行质检扫描;再配置比较方式及期望值,则将会把期望值与实际质检命中行进行比较,已判定该规则是否质检通过。更多细节配置可查看质检作业介绍
4)评分配置:点击“质量评分配置”,可新增多个质量评分规则,每个规则可选择所需“质量特性”,设置各特性的权重,并关联已创建的质检规则,后续则基于规则结果通过加权算法计算质量得分。
5)保存质检作业,并对当前作业完成调度配置后,再点击【上线】即可上线作业,按调度自动质检。
第四步:查看质检详情
1)在数据质检 > 质检详情页面中,以数据表的维度展示了各表一定时间内的质检结果,包括总体质量等级、质量评分、各规则的命中情况等。
- 质检详情统计周期为T+1,即当天质检的结果无法立即查看。
第五步:生成质量报告
1)在数据质检 > 质量报告页面中,点击“配置质量报告”,选择对象、周期,则会将所选质检资产在对应周期内的质检结果生成质量报告,并可在列表中“下载”已生成的报告至本地查看。
- 报告对象仅显示已质检过的资产
- 质检资产若在所选周期内未质检,则报告中相关结果会暂无数据
第六步:作业运维监控
1)调度管理:在运维监控_调度管理找到对应作业,点击【查看作业任务】可查看运行详情,主要信息包含作业任务调度明细、各调度的运行结果、日志下载等。
2)告警通知:若需监控作业状态,特别是运行失败、质检不通过,可在个人中心 > 消息通知中配置告警,支持邮件、钉钉群通知。对象类型选择“质检作业”、对象名称填写需监控的作业名称,通知类型选择“作业运行”,作业运行失败时,可发送消息通知。