调度管理
使用场景：用户需要了解不同作业任务、节点任务的详细运行信息，以辅助运维。
使用角色：数据开发人员。
功能描述：平台提供查看不同作业类型的作业任务、任务运行详情，并可快速查看日志，以知晓任务历史运行情况及任务状态异常的原因。
调度管理范围
进入运维监控 > 调度管理界面，可查看所有类型的周期调度作业，并提供多种检索条件快速定位所需作业任务实例。
- 调度管理仅展示实际运行过的作业，即上线过并按调度产生作业任务的作业、手动“立即运行”过的作业
- 计划开始时间：搜索条件，查询作业任务的“计划开始时间”在所选的时间范围内即可被筛选出来。
平台提供多级下钻以查看任务运行详情，不同类型作业，下钻查看的内容存在差异，具体如下：
| 作业类型 | 作业任务 | 节点任务 | 任务详情 |
|---|---|---|---|
| 数据加工 | √ | √ | √ |
| 指标加工 | √ | X | √ |
| 标签加工 | √ | X | √ |
| 数据质检 | √ | X | √ |
- 作业任务：每个作业的每次调度运行时生成的任务实例，会产出作业的单次运行结果；
- 节点任务：数据加工作业任务中各类节点的每次调度运行结果，可分别查看各节点任务详情；
- 作业任务详情：指标加工、标签加工、数据质检这类无节点的作业类型，可查看单次作业任务的整体运行详情。
数据加工
作业
在数据开发 > 批量数据 > 数据加工界面，配置的数据加工作业，可通过作业类型快速筛选。
作业任务
- 数据加工作业每次真实运行均会自动生成一条对应的作业任务以记录当次的详细信息，点击列表作业名称，即可查看该作业所有作业任务。
- 平台提供作业任务级操作，包括：终止、智能诊断；
终止：当作业任务状态为“正在运行”时，可点击终止运行，可用于结束运行时间过长、或运行卡死等异常作业任务；
智能诊断：所有状态作业任务均可进行诊断，点击进入界面可查看当前作业任务信息、上游作业任务信息，可用于分析作业任务状态异常的原因。
注意- 若作业存在上游依赖作业，仅展示所有直接依赖的上级作业，上级作业的上上级等不再展示；
- 上级作业会展示依赖策略与依赖判定结果，以便直观了解是否由于依赖造成当前作业任务状态异常；
- 除分析作业依赖影响，也可直接在异常原因中直接查看系统自动诊断出的异常结果，并提供日志明细查看。
作业任务状态触发条件
| 状态名称 | 状态说明 |
|---|---|
| 准备运行 | 作业任务刚启动时会短暂进入准备运行状态，以准备后续运行策略 |
| 正在运行 | 作业任务正常进入运行中的状态 |
| 手动终止 | 1. 用户手动在作业下方“7日内作业运行结果”中手动终止作业任务后的状态 2. “调度管理-作业任务”中手动终止作业任务后的状态 3.作业任务仅包含脚本节点，且节点“取消立即运行”后的状态 |
| 运行成功 | 作业任务运行完成，且成功的状态 |
| 运行失败 | 作业任务运行完成，但失败的状态 |
| 运行超时 | 作业任务运行时间超过所设置“超时时间”，作业任务被自动终止后的状态 |
| 等待运行 | 作业所处队列当前无空闲槽位，作业任务进入等待队列排队时的状态 |
| 等待超时 | 作业任务在等待队列中等待时长超过所设置“队列最大等待时长”，作业任务被取消运行后的状态 |
| 跳过运行 | 1.作业任务上游依赖、自依赖、数据量依赖判定不满足后跳过运行的状态； 2.作业任务调度冲突时，策略为“忽略”而被自动取消运行后状态； |
节点任务
数据加工作业由多个节点组成，可进一步下钻查看作业任务中节点级的运行详情，各节点任务显示信息存在差异，具体如下；
- 计划开始时间：基于调度配置所确定的未来作业任务排期的预计执行开始时间
- 实际开始时间：作业任务实际开始执行的时间，对于节点任务则是该节点实际开始执行的时间
- 实际完成时间：作业任务实际执行完成的时间，对于节点任务则是该节点实际完成执行的时间
库表导入任务详情界面除了展示当前节点任务的基本信息项外，还会展示导入结果，包括导入数据量、导入成功/失败数据量等信息，并可查看运行异常日志。
API导入任务详情界面除了展示当前节点任务的基本运行信息项外，还会展示导入结果，包括导入数据量、导入成功/失败数据量等信息，并可查看运行异常日志。
脚本导入任务详情界面除了展示当前节点任务的基本运行信息项外，还会展示导入结果，包括导入数据量、导入成功/失败数据量等信息，并可查看运行异常日志。
SQL加工任务详情界面除了展示当前节点任务的基本运行信息项外，还会展示每条 SQL 脚本的执行耗时、运行结果等信息，并可查看运行异常日志。
SHELL脚本任务详情界面除了展示当前节点任务的基本运行信息项外，还可实时查看脚本的运行日志，并提供全量历史日志下载。
PYTHON脚本任务详情界面除了展示当前节点任务的基本运行信息项外，还可实时查看脚本的运行日志，并提供全量历史日志下载。
JAVA脚本任务详情界面除了展示当前节点任务的基本运行信息项外，还可实时查看脚本的运行日志，并提供全量历史日志下载。
库表导出任务详情界面除了展示当前节点任务的基本运行信息项外，还会展示导出结果，包括导出数据量、导出成功/失败数据量等信息，并可查看运行异常日志。
分支判断任务详情界面除了展示当前节点任务的基本运行信息项外，还会展示分支判断结果等信息，并可查看运行异常日志。
节点任务状态触发条件
| 状态名称 | 状态说明 |
|---|---|
| 准备运行 | 节点任务刚启动时会短暂进入准备运行状态，以准备后续运行策略 |
| 正在运行 | 节点任务正常进入运行中的状态 |
| 手动终止 | 运行到该节点时： 1. 用户手动在作业下方“7日内作业运行结果”手动终止作业任务后的节点状态 2. “调度管理-作业任务”中手动终止作业任务后的节点状态 3. 脚本节点“取消立即运行”后的状态 |
| 运行成功 | 节点任务运行完成，且成功的状态 |
| 运行失败 | 节点任务运行完成，但失败的状态 |
| 运行超时 | 运行到该节点时，作业任务运行时间超过所设置“超时时间”，作业任务被自动终止后的状态 |
| 等待运行 | 作业所处队列当前无空闲槽位，所有节点任务进入等待队列排队时的状态；该节点任务等待上游节点运行 |
| 等待超时 | 作业任务在等待队列中等待时长超过所设置“队列最大等待时长”，所有节点任务被取消运行后的状态 |
| 跳过运行 | 1.作业任务上游依赖、自依赖、数据量依赖判定不满足后所有节点跳过运行的状态； 2.作业任务调度冲突时，策略为“忽略”而被自动取消运行后所有节点的状态； 3.节点级状态，该节点配置为“跳过”的节点的状态 |
| 分支跳过 | 节点级状态，“分支判断”节点中，不满足判断条件的分支中的各节点跳过运行的状态 |
血缘信息
- 在节点任务详情界面中的“节点任务血缘”即可查看血缘信息。除脚本开发节点外，其他节点任务均可查看血缘信息，展示字段所在数据表的全链路血缘。 注意
此处为动态血缘，展示当前表关联的所有节点，运行过后的血缘关系，包括被删除的历史数据。
- 支持按字段或表关键字查询血缘关系，同时在血缘图谱中高亮查询字段/表血缘链路。
指标加工
作业
在数据开发 > 数据指标 > 指标加工界面，配置的指标加工作业，可通过作业类型快速筛选。
作业任务
指标加工作业每次真实运行均会自动生成一条对应的作业任务以记录当次的详细信息，点击列表作业名称，即可查看该作业所有作业任务。
平台提供作业任务级操作，包括：终止、智能诊断；
终止：当作业任务状态为“正在运行”时，可点击终止运行，可用于结束运行时间过长、或运行卡死等异常作业任务；
智能诊断：所有状态作业任务均可进行诊断，点击进入界面可查看当前作业任务信息、上游作业任务信息，可用于分析作业任务状态异常的原因。
注意- 若作业存在上游依赖作业，仅展示所有直接依赖的上级作业，上级作业的上上级等不再展示；
- 上级作业会展示依赖策略与依赖判定结果，以便直观了解是否由于依赖造成当前作业任务状态异常；
- 除分析作业依赖影响，也可直接在异常原因中直接查看系统自动诊断出的异常结果，并提供日志明细查看。
- 指标加工作业无节点，仅支持查看作业任务级运行详情。作业任务详情界面除了展示当前作业任务的基本运行信息项外，还会展示各指标计算结果等信息，并可查看运行异常日志。
- 计划开始时间：基于调度配置所确定的未来作业任务排期的预计执行开始时间
- 实际开始时间：作业任务实际开始执行的时间
- 实际完成时间：作业任务实际执行完成的时间
作业任务状态触发条件
| 状态名称 | 状态说明 |
|---|---|
| 准备运行 | 作业任务刚启动时会短暂进入准备运行状态，以准备后续运行策略 |
| 正在运行 | 作业任务正常进入运行中的状态 |
| 手动终止 | 1. 用户手动在作业下方“立即运行结果”手动终止作业任务后的状态 2. “调度管理-作业任务”中手动终止作业任务后的状态 |
| 运行成功 | 作业任务运行完成，且成功的状态 |
| 运行失败 | 作业任务运行完成，但失败的状态 |
| 运行超时 | 作业任务运行时间超过所设置“超时时间”，作业任务被自动终止后的状态 |
| 等待运行 | 作业所处队列当前无空闲槽位，作业任务进入等待队列排队时的状态 |
| 等待超时 | 作业任务在等待队列中等待时长超过所设置“队列最大等待时长”，作业任务被取消运行后的状态 |
| 跳过运行 | 1.作业任务上游依赖判定不满足后跳过运行的状态； 2.作业任务调度冲突时，策略为“忽略”而被自动取消运行后状态； |
标签加工
作业
在数据开发 > 数据标签 > 标签加工界面，配置的标签加工作业，可通过作业类型快速筛选。
作业任务
标签加工作业每次真实运行均会自动生成一条对应的作业任务以记录当次的详细信息，点击列表作业名称，即可查看该作业所有作业任务。
平台提供作业任务级操作，包括：终止、智能诊断；
终止：当作业任务状态为“正在运行”时，可点击终止运行，可用于结束运行时间过长、或运行卡死等异常作业任务；
智能诊断：所有状态作业任务均可进行诊断，点击进入界面可查看当前作业任务信息、上游作业任务信息，可用于分析作业任务状态异常的原因。
注意- 若作业存在上游依赖作业，仅展示所有直接依赖的上级作业，上级作业的上上级等不再展示；
- 上级作业会展示依赖策略与依赖判定结果，以便直观了解是否由于依赖造成当前作业任务状态异常；
- 除分析作业依赖影响，也可直接在异常原因中直接查看系统自动诊断出的异常结果，并提供日志明细查看。
- 标签加工作业无节点，仅支持查看作业任务级运行详情。作业任务详情界面除了展示当前作业任务的基本运行信息项外，还会展示各标签打标数量等信息，并可查看运行异常日志。
- 计划开始时间：基于调度配置所确定的未来作业任务排期的预计执行开始时间
- 实际开始时间：作业任务实际开始执行的时间
- 实际完成时间：作业任务实际执行完成的时间
作业任务状态触发条件
| 状态名称 | 状态说明 |
|---|---|
| 准备运行 | 作业任务刚启动时会短暂进入准备运行状态，以准备后续运行策略 |
| 正在运行 | 作业任务正常进入运行中的状态 |
| 手动终止 | “调度管理-作业任务”中手动终止作业任务后的状态 |
| 运行成功 | 作业任务运行完成，且成功的状态 |
| 运行失败 | 作业任务运行完成，但失败的状态 |
| 运行超时 | 作业任务运行时间超过所设置“超时时间”，作业任务被自动终止后的状态 |
| 等待运行 | 作业所处队列当前无空闲槽位，作业任务进入等待队列排队时的状态 |
| 等待超时 | 作业任务在等待队列中等待时长超过所设置“队列最大等待时长”，作业任务被取消运行后的状态 |
| 跳过运行 | 1.作业任务上游依赖判定不满足后跳过运行的状态； 2.作业任务调度冲突时，策略为“忽略”而被自动取消运行后状态； |
数据质检
作业
在数据质检 > 质检作业 界面，配置的数据质检作业，可通过作业类型快速筛选。
作业任务
数据质检作业每次真实运行均会自动生成一条对应的作业任务以记录当次的详细信息，点击列表作业名称，即可查看该作业所有作业任务。
平台提供作业任务级操作，包括：终止、智能诊断；
终止：当作业任务状态为“正在运行”时，可点击终止运行，可用于结束运行时间过长、或运行卡死等异常作业任务；
智能诊断：所有状态作业任务均可进行诊断，点击进入界面可查看当前作业任务信息、上游作业任务信息，可用于分析作业任务状态异常的原因。
注意- 若作业存在上游依赖作业，仅展示所有直接依赖的上级作业，上级作业的上上级等不再展示；
- 上级作业会展示依赖策略与依赖判定结果，以便直观了解是否由于依赖造成当前作业任务状态异常；
- 除分析作业依赖影响，也可直接在异常原因中直接查看系统自动诊断出的异常结果，并提供日志明细查看。
- 数据质检作业无节点，仅支持查看作业任务级运行详情。作业任务详情界面除了展示当前作业任务的基本运行信息项外，还会展示各规则质检结果等信息，并可查看运行异常日志。
- 计划开始时间：基于调度配置所确定的未来作业任务排期的预计执行开始时间
- 实际开始时间：作业任务实际开始执行的时间
- 实际完成时间：作业任务实际执行完成的时间
作业任务状态触发条件
| 状态名称 | 状态说明 |
|---|---|
| 准备运行 | 作业任务刚启动时会短暂进入准备运行状态，以准备后续运行策略 |
| 正在运行 | 作业任务正常进入运行中的状态 |
| 手动终止 | “调度管理-作业任务”中手动终止作业任务后的状态 |
| 运行成功 | 作业任务运行完成，且成功的状态 |
| 运行失败 | 作业任务运行完成，但失败的状态 |
| 运行超时 | 作业任务运行时间超过所设置“超时时间”，作业任务被自动终止后的状态 |
| 等待运行 | 作业所处队列当前无空闲槽位，作业任务进入等待队列排队时的状态 |
| 等待超时 | 作业任务在等待队列中等待时长超过所设置“队列最大等待时长”，作业任务被取消运行后的状态 |
| 跳过运行 | 作业任务调度冲突时，策略为“忽略”而被自动取消运行后状态； |
后台任务
使用场景：用户需了解耗时较长的后台异步任务的进度，并进行任务管理，可通过后台任务统一监控。
使用角色：数据开发人员。
功能描述：平台提供“后台任务”界面展示后台任务实例的运行状态，并可终止、删除指定任务。
操作流程：
进入运维监控 > 调度管理界面，切换至“后台任务”标签页，即可查看所有历史运行的后台任务实例记录，可查看任务的运行状态，运行时间，对于“运行失败”的任务可点击“任务状态”查看失败原因。
任务类型
- 任务类型：后台任务的均由用户手动触发的异步任务，当前异步任务包括以下任务；
| 任务入口 | 任务 |
|---|---|
| 数据规范-规范诊断-主数据引用诊断-立即诊断 | 主数据诊断 |
| 数据规范-规范诊断-标准字段引用诊断-立即诊断 | 标准字段诊断 |
| 数据开发-批量数据-数据加工-操作 | 数据加工作业导入 |
| 数据安全-数据脱敏-脱敏处理-立即识别 | 敏感识别 |
| 数据安全-安全诊断-立即诊断 | 安全诊断 |
任务管理
任务终止
任务状态为“正在运行”时，点击“终止”按钮，可终止正在运行的任务实例，避免由于任务扫描数据量较大、网络异常等原因造成运行时间过长或卡死。
- 数据加工作业导入任务不支持“终止”操作；
- 仅“正在运行”状态可点击终止，终止后任务状态变为“手动终止”，对应页面不更新终止任务的诊断/识别结果。
任务删除
对于已运行为终态的后台任务实例，支持删除对应任务实例历史记录，并可批量删除，以避免历史数据过多，影响页面性能。
- 正在运行中的任务不可删除任务记录
- 删除任务实例记录后，仅在当前后台任务列表不再显示该记录，不会影响任务结果在对应页面的正常显示