加工作业
使用场景：数据开发人员对入仓的 STG 层数据表进行分层治理，形成标准、规范、有质量保证的数据资产。
使用角色：数据开发人员。
功能描述：以 DAG 形式构建数据加工作业，通过数据集成、数据处理、脚本开放、流程控制，实现对结构化数据的明细治理，保证数据的有效性与可用性，为后续的数据消费与数据应用奠定基础。
作业分组
进入数据开发 > 批量数据 > 数据加工界面，点击左侧目录栏中的“操作”按钮，在下拉框中点击“新建分组”按钮后根据页面内容填写信息“保存”即可。
- 支持创建多级分组；
- 支持同级分组拖拽移动排序；支持分组下同级作业拖拽移动排序；
- 可直接在新建分组时关联作业，一个作业只能同时关联一个分组，新建分组页面展示所有未关联分组的作业；
- 未分组的作业统一直接将作业显示在已创建分组下方
作业配置
新建
- 进入数据开发 > 批量数据 > 数据加工界面，左侧目录栏中的“操作”按钮，在下拉框中点击“新建作业”按钮后根据页面内容填写信息“保存”即可。
2. 作业创建完成后即需进行作业节点配置，用户可根据数据加工需求选择对应节点拖拽至画布中。拖拽后会弹出加工节点命名弹窗，填写确定后即完成节点的基础配置。
- 连接加工节点可配置节点运行顺序，拖拽节点两侧的圆点即可连接各加工节点；
- 节点连接可一对多；
- 选中多节点：在画布上利用 Ctrl + 鼠标左键可移动拖拽框选多个节点，也支持增量框选；
- 改变节点选中状态：在画布上利用 Ctrl + 鼠标左键单击节点，可改变当前节点的选中状态；
- 打开节点：鼠标左键双击节点；
- 选中节点：鼠标左键单击节点即可选中，同时之前的单选或多选都将被取消；
- 操作菜单：
- 在已选中的节点上单击鼠标右键，不改变选中状态，弹出菜单的操作对象为当前所有选中的节点；
- 在未选中的节点上单击鼠标右键，会提示“暂无可用”，之前选中的节点都将被取消，需要用鼠标左键点击选中后才可进行操作；
- 若开启业务权限管控，节点保存时会校验当前操作人和作业运行人是否拥有节点内所有数据表的对应业务权限，校验通过方可保存成功。
修改
DAG 形式的数据加工作业未提供统一的“修改”按钮，目录下方修改按钮仅可修改作业基本信息，用户可根据需要直接在画布上选择节点进行修改，或点击画布右上方的各操作按钮进行作业级配置修改。
- 上线状态作业无法修改，需下线作业；
- 当已开启业务权限、资源权限管控，在修改节点、调度配置时，若存在操作用户无权限的数据表、数据源、主机、队列，则无法成功保存；
- 若作业存在相关依赖作业，在修改调度配置时可能造成依赖策略失效，但系统仅提醒风险而不会限制修改，请修改时考虑周全。
删除
- 进入数据开发 > 批量数据 > 数据加工界面，在左侧作业目录上选中需删除的作业后点击“按钮”，二次确认后即可删除。
- 上线状态作业无法删除，需下线作业；
- 暂不支持批量删除，勾选多个作业后点击删除不会删除所有勾选作业，仅会删除高亮选中的作业；
- 删除作业后仅会删除作业本身，不会同步删除作业所使用的关联资源；
- 若其他作业的依赖该作业，删除作业后，对应依赖配置中会同步删除该作业的配置记录。
调度配置
使用场景：由于源头数据持续接入，因此需要通过周期性调度实现持续的数据加工治理。源头数据变化频率不高时，可采用数据量事件触发；部分作业需要使用一个或多个其它作业的输出作为输入，可通过作业级别的运行依赖配置，提升作业运行的连贯性及有效性。
使用角色：数据开发人员。
功能描述：通过时钟触发、事件触发方式，为数据开发作业提供统一调度。时钟触发支持分钟、小时、日、周、月不同粒度的调度频率，实现周期性调度管理；事件触发包括数据量依赖、作业依赖、分支判断依赖；数据量依赖可通过配置触发阈值来设置作业调度周期运行是否触发；作业依赖可通过配置上游作业和判断上游作业运行状态来设置作业调度周期运行是否触发；分支判断依赖则是通过归并逻辑决定作业内部节点间的运行触发。
操作流程：
进入数据开发 > 批量数据 > 数据加工界面，点击作业画布上方的“调度配置”按钮，进入作业调度配置页面。作业调度配置分为时钟触发、事件触发、运行策略，详细说明如下。
时钟触发
- 生效日期：在该日期区间调度配置正常运行，否则自动下线该流程；
- 永久生效：勾选后作业永久生效，生效日期置灰无需填写，取消勾选后则生效日期必填；
- 调度周期：可选分钟、小时、日、周、月，请选择合适的周期进行配置；
- 具体时间：在生效日期范围内，作业调度具体开始时间，精确到小时、分钟，部分周期支持配置时间间隔；
- 超时时间：当调度任务运行起来后，在该超时时间范围内必须运行完成，否则则认定为超时并强制结束该任务；
- 未来5次执行时间：时钟触发配置完成后，自动生成未来5次的调度时间，用以预览配置是否符合期望。
- 调度周期为日、周、月时，可选择多个具体时间，最多支持设置10个不重复的具体时间，即可存在10个corn表达式，注意“1日、2日、3日10:00”为1个corn表达式；
- 作业超时时间实际为节点超时时间，如超时时间为60分钟，作业中有三个节点，则每个节点的最长运行时间为60分钟，仅当某个节点运行时间超过60分钟才会强制终止，但作业多个节点累加的运行时间可以超过60分钟。
事件触发
- 数据量依赖
- 触发条件：选择当前加工作业中使用的数据表，并在旁边的输入框中填入触发阈值。若被加工数据表的数据量变化小于阈值（新增、修改、删除数据量总和与所设置阈值进行比较），则不触发，反之触发； （仅可选择本空间数据表设置数据量阈值）
- 触发关系：若一个作业中涉及多张数据表的加工，可配置每张表阈值之间的与、或关系，形成组合判断逻辑；
- 触发时机：每次周期调度运行前进行对比，当前周期若小于阈值，本次不调度，等一下次调度时间再进行判断；
- 数据量统计周期：上次运行完成之后到本次运行开始时间之前，一个周期内的变化。
- 举例说明：假设当前作业中存在“学生信息表”，现在将学生信息表作为数据量依赖触发条件，并设置触发阈值为100，现在学生信息表中进行新增、修改、删除操作，若操作使得数据表中的数据变化大于或等于100，则触发数据量依赖调度，作业正常运行；若操作使得数据表中的数据变化小于100，则不触发数据量依赖调度，即作业本次周期调度不运行，下次周期调度重新进行阈值判断，决定是否运行;
作业依赖
- 自依赖：默认为否，选择是后，当前作业若自身某一周期运行失败，则后续所有调度均置为失败，不再执行，同时“调度管理-作业任务详情”生成一条调度记录，状态为跳过运行。
注意自依赖策略会严格通过上一次调度结果进行判定，因此触发失败跳过运行后，若下线对作业配置进行调整修正，上线后请立即运行，以避免重新上线后依然找寻上次跳过记录而继续判定为跳过运行。
- 上游依赖：通过新增上游依赖作业，并配置各上游作业的依赖策略，以及所有上游作业的依赖触发关系，即可按上游作业的运行状态判断触发当前作业。
- 作业选择：支持同频、异频依赖，即可选择依赖任意周期作业
- 依赖策略：所选范围内，成功次数达到配置值即触发，不要求连续成功；完全满足次数条件才可触发，次数不足或正好存在满足次数的任务在运行中等中间态时均视为不满足条件，不触发；（立即运行成功、重试后成功都算成功次数）
- 强制等待：默认不勾选，即无需等待上游未完成任务运行完成便进行依赖触发判定；勾选后则需等待上游运行完成后再进行根据运行结果依赖触发判定；作业未运行完成状态包括准备运行、等待运行、正在运行；
- 等待示例：如上下游作业均为10:00调度，下游设置上游依赖为近1次内1次成功，则到达调度时间，上游作业任务启动运行，下游需等待上游任务运行完成后根据终态结果再进行依赖触发判定；
- 不等待示例：如上下游作业均为10:00调度，下游设置上游依赖为近1次内1次成功，则到达调度时间，上游作业任务启动运行，此时近1次为未完成状态而非运行成功，因此立即判定不满足依赖触发条件，下游任务直接跳过运行；
- 判定对象说明：等待过程中仅依据第一次等待时的任务实例进行判定。如B的任务B2在第一次上游等待判定时A存在A1、A2两个中间态从而进入等待队列，从等待队列出来进行再次判定时，A又产生了新的A3任务，但B2的判定条件依旧时关注A1、A2是否变为终态。
- 依赖策略-时间说明：选择不同依赖频率，判定上游作业成功次数的时间范围均为“近自然时间内”，如自然日、自然周、自然月，再基于当前作业的计划执行时间向前推，具体示例如下：
- 分钟，当前计划执行时间为03:30开始，间隔20分钟，则第一次查询当前计划执行时间前20分钟，即03:10-03:30的上游作业成功次数，以此类推
- 小时，当前计划执行时间为03:30开始，间隔2小时，则第一次查询当前计划执行时间前两小时，即01:30-03:30的上游作业成功次数，以此类推
- 日，当前计划执行时间为每日22:00，则查询当天00:00-22:00的上游作业成功次数；若作业未能按计划准时运行，则最多可查询当天00:00-23:59的结果
- 周，当前计划执行时间为周三12:00，则查询本周一至周三12:00的上游作业成功次数；若作业未能按计划准时运行，则最多可查询本周一至周天23:59的结果
- 月，当前计划执行时间为每月15日，则查询当月1日至当前日期15日计划执行时间的上游作业成功次数；若作业未能按计划准时运行，则最多可查询当月最后一天23:59的结果
- 依赖关系：支持添加多个上游依赖作业，并设置“与”、“或”关系，“与”为上游作业全部满足条件，“或”为上游作业任一满足条件即可
- 作业依赖触发逻辑：所选范围内，成功次数达到配置值即触发，不要求连续；立即运行成功、重试后成功都算成功；完全满足次数条件方可触发，次数不足或正好存在满足次数的在运行中等特殊情况均视为不满足条件，不触发，如配置为近10次全部成功，上游作业前9次均成功，但第十次正在运行中，则视为不满足依赖策略，下游作业不触发，直接跳过运行。 -说明：作业依赖初始时，即上游作业均尚未第一次运行，可能造成第一个调度周期跳过，为避免此情况，请通过立即运行解决。
举例说明- 月报场景：作业A为日报作业，作业B为月报作业，B依赖A，则可在B作业的依赖配置中选择A为上游作业，并配置依赖策略为“1 {月} ，{全部}成功”；
- 常规场景：若无特殊时间要求，仅需上游作业最近一次运行成功即触发下游作业，则可配置依赖策略为1 {次} ，{1}成功，即为最近一次成功。
- 作业依赖链路：展示当前作业所有上下游依赖链路，包括已下线作业，若用户手动解除依赖或将作业删除，则自动解除依赖，且不再展示依赖链路关系。
分支判断依赖
- 分支归并逻辑：当节点存在多个上游节点，则该节点为“归并节点”，可配置该节点执行策略：
- 所有上游均为“分支跳过”：即“归并节点”上游节点均按“分支跳过”执行，则该节点才会按“分支跳过”执行;
- 任一上游为“分支跳过”：即“归并节点”任意一个上游节点按“分支跳过”执行，则该节点就会按“分支跳过”执行。
- 举例说明：如下游节点C依赖A、B两个上游节点，那么C为归并节点，会按归并逻辑执行。即会根据上游A、B节点是否有一个或者全部状态都是“分支跳过”来判断自身C是否也“分支跳过”，否则就正常执行。
- 分支归并逻辑：当节点存在多个上游节点，则该节点为“归并节点”，可配置该节点执行策略：
- 满足分支条件的下游节点正常运行；不满足条件的下游节点按“分支跳过”执行
- 未配置条件的下游节点默认表达式为 true，会正常执行
- 分支条件解析失败，则当前节点、整个作业状态置为运行失败
- 以“分支跳过”或“设置跳过”方式执行的节点，仍然会按配置的方式传递上下文参数，只是本身不会有节点产出
- “分支跳过”、“跳过”为两种独立的状态，若节点类型为“跳过”，不会按“分支归并逻辑”执行
运行策略
- 作业运行人：作业运行人默认为当前创建用户，仅空间管理员可修改；若开启业务、资源权限管控，作业运行时会以作业运行人的数据库账号进行校验并执行作业任务，若存在作业运行人无权限数据表、资源，则作业运行失败
- 作业优先级：必填，默认为高，当多个任务在等待队列排队时，队列槽位释放后，级别高的任务会优先进入运行队列执行；即首先按优先级调度任务，同一优先级按时间顺序调度任务；调整优先级不影响当前排队任务，下一调度生效
- 运行队列：必填，提供默认队列作为默认值，可选择已配置队列，无权限队列则过滤不显示；当多个作业并发运行时，超过队列槽位数的作业任务会排队等待；立即运行，未配置队列时使用默认队列执行任务
- 队列最大等待时长：非必填，仅可填写整数，超过等待时长的任务自动取消排队，不再执行，可清空不填则为永久等待直至进入运行队列；未设置则一直排队，不会自动取消
- 调度冲突策略：自身作业多个调度任务实例堆积时的处理策略；默认为等待，即后续任务实例排队等待前面任务实例运行完成方才运行，当前限制最大等待100个任务，超过则按忽略处理；忽略，则后续任务实例自动忽略取消运行，直至不再堆积后新的任务实例才会按计划运行
- 失败重试次数：作业级失败重试，默认为0，即不重试，最大可配置重试5次；
- 失败重跑策略：当失败重试次数大于0时，选择重跑策略，等于0时失败重试策略配置不生效。
- 从失败节点开始重跑，即从当前失败节点开始重试；
- 从头开始重跑，即整个任务重跑
- 在设置的次数内重试时，重试成功，则作业状态为成功，若直到最后一次重试仍然失败，则作业状态为失败。
若未配置运行策略时，补数据、立即运行等非正常调度场景将使用系统默认配置，其中队列最大等待时长默认为60分钟、调度冲突策略默认为等待；若已配置运行策略，则补数据、立即运行等非正常调度场景也将使用配置策略
参数配置
参数配置用于作业在运行中获取动态参数，该参数通常可以设置业务时间，运行时间，字段变量等参数，通过填写固定值、表达式来支持该参数。
操作流程：
- 进入数据开发 > 批量数据 > 数据加工界面，选中目标作业，点击画布上方的“参数配置”按钮进入参数配置页面。
2. 在作业参数配置界面填写参数名、参数值或表达式后，点击页面下方的“保存”按钮即可。
- 参数可以设置固定值或动态取值的表达式，不同类型参数表达式格式要求不同。
时间表达式说明
以当前时间为2019年09月01日，任务每天01:30:00定时运行，时间作业参数的赋值情况，具体如下表：
说明：假设代码引用方式均为 pt=${datetime}
| 时间概念（参数名） | 值引用格式 | 参数值 | 参数赋值 | 参数替换结果 |
|---|---|---|---|---|
| 计划执行时间（planTime）：根据调度配置计算的任务实例计划执行时间 | 中括号[]引用计划执行时间 | datetime=#{planTime} | ||
| 业务时间（bizdate）：计划执行时间的前一天 | 中括号{}引用计划执行时间 | datetime=#{bizdate} |
- 时间概念中的名称即为“作业参数”中的“参数名”，可用户自定义，不要求严格为：planTime、bizdate，也可为如示例中的datetime；
- 两种时间概念主要通过参数值的配置引用格式区分，使用[]则可获取计划执行时间，使用{}则可获取计划执行时间的前一天，由系统自动-1D，无需在参数值中配置；
- 参数值中的时间格式，除表格示例外，也支持：'yyyy-MM-dd'、'yyyy-MM-dd HH:mm:ss'；
- 时间的加减：[yyyyMMdd]-1D，该日期减一天，即2019-08-31 00:00:00；{yyyyMMdd}+2D，该日期加2天，即2019-09-02 00:00:00；
- 时间加减所用单位为：m（分钟）、H（小时）、D（天）、M（月）、Y（年）；如减一年，则为[yyyyMMdd]-1Y
函数表达式说明
当前仅支持以下两种函数表达式：
- max(schema.tablename.colname)，取某张表的某个字段最大值；
- min(schema.tablename.colname)，取某张表的某个字段最小值；
注意- 支持字段类型为自增长整数，如int4、int8，使用其他字段类型运行时会报错；
- 表达式中库表字段信息为目标表信息，已通过目标表已集成数据id进行过滤判断，以实现增量同步；
- “schema”为平台中的“数据库模式”，由“空间编码_数仓层级”组成，可在表详情中查看该信息，或在SQL加工-字段检索中快速复制该信息；
- “tablename”为平台内部的目标表英文名
- 以上两种表达式支持在“库表导入”节点的“数据过滤”处引用。
配置举例说明：
- 在作业参数页面添加参数：参数名，idmax；参数值，max(helpcenter_stg.student_table.id)
- 在库表导入“数据过滤”处引用参数：where id>#{idmax} （id为来源表中的id字段）
- 配置效果：库表导入时仅增量导入大于目标表此时id最大值的数据。
补数据
用户需要对加工作业补充数据时，进入数据开发 > 批量数据 > 数据加工界面，点击作业画布右上方的“补数据”按钮，进入配置页面。执行时间支持选择具体日期、时分，支持选择时间区间，时间跨度最大可选31天，配置完成后点击“立即执行”即可。
补数据示例如下：
- 场景：当前为周六，需要补本周五个工作日的数据
- 配置：点击补数据按钮，时间跨度选择本周一至周五对应的日期，若作业中使用数据格式涉及时分，则可再指定具体时分后保存
- 结果：进入运维监控 > 调度管理界面，找到补数据作业，点击名称后可看到作业任务列表生成了“5条”作业任务示例，分别对应5天的补数据任务，可分别查看对应作业任务的运行详情及结果，若存在部分失败的可针对失败日期再补一次。
- 用户需先在“参数配置”中配置相关时间参数并引用，方可按指定执行时间进行补数据；
- 补数据执行时不做任何校验，若作业时间参数配置正确，则可按时间进行补数据；若配置不正确则按当前时间立即执行；
- 补数据作业任务运行时会按照已配置的运行策略运行，若未配置相关策略，则按默认策略运行；
- 当选择时间区间时，平台会按选择的时间段每天生成一个任务进入队列执行，并可在调度管理查看每一天的任务实例运行结果。
试运行
平台提供作业级试运行，点击按钮后即可立即触发整个作业试运行。
作业试运行时可以取消作业试运行，但仅支持通过“作业单次试运行结果”中“取消试运行”按钮进行整个作业的取消操作，不支持在各节点页面通过节点级“取消试运行”将作业试运行中单个节点独立取消。
- 作业试运行可直接在下方“作业单次试运行结果”中查看各节点的运行结果，但不会在“运维监控 > 调度管理”界面中生成对应的作业任务实例；
- 作业试运行会忽略调度配置及相关运行策略，立即触发试运行；
- 作业试运行实质为按各节点试运行策略依次试运行节点，并在各节点的“执行信息”中同步生成试运行执行详情供跳转查看；
- 各节点试运行策略不尽相同，部分采用临时表模拟运行，部分为真实数据运行，详见：加工节点
立即运行
平台提供作业级立即运行，点击按钮后即可立即触发整个作业立即运行。
- 作业立即运行可直接在下方“7日内作业运行结果”中查看对应作业任务的运行实例，并可查看作业任务详情、终止任务、智能诊断；同时会在“运维监控 > 调度管理”界面中生成对应的作业任务实例；
- 作业立即运行为手动触发真实运行，除忽略作业依赖配置外，会按照作业运行策略的配置运行，因此可能会存在进入等待队列排队的情况，但一旦有槽位释放，会优先执行立即运行的作业任务。
上下线
平台提供了作业上下线机制，上线作业可按调度周期自动运行，下线作业可进行作业的维护管理。
上线
进入数据开发 > 批量数据 > 数据加工界面，点击作业画布右上方的“上线”按钮即可上线，对应左侧目录作业变为“绿点”。
作业上线时会进行以下校验，通过后方可成功上线：
- 所有作业节点配置不可为空，且保存成功；
- 作业调度配置至少完成时钟触发配置，且所有corn表达式注册成功；
- 存在正在运行作业任务，如作业立即运行、节点试运行时，不允许上线，需等待作业任务运行完成后；
- 若作业存在关联依赖作业且未上线，上线时会提醒，以免无法按预期逻辑触发作业运行。
下线
进入数据开发 > 批量数据 > 数据加工界面，点击作业画布右上方的“下线”按钮即可下线，对应左侧目录作业变为“灰点”。
- 作业上线时不会进行校验，但会提醒是否终止当前作业正在运行的作业任务，可按需选择；
- 若作业存在关联依赖作业，下线后可能无法满足依赖触发条件（如近一天成功次数，但近一天并未运行），从而造成依赖作业运行失败。
关联资源
- 点击按钮可查询当前用户是否拥有作业中包含的所有资源的相关权限，包括数据表的业务权限，数据源、主机的资源权限；若无权限或权限不足，可能导致作业配置无法保存，或部分资源不可用，需及时联系管理员申请相关权限。
血缘检测
使用场景：用户通过查看可视化血缘效果，了解数据流向。
使用角色：数据开发人员。
功能描述：在加工作业与节点未运行时，通过自动化的 SQL 语义解析能力，可实现在 SQL 加工节点正式运行前，解析当前 SQL 脚本将产生的数据血缘，根据异常血缘定位逆向数据治理，避免不规范的数据开发污染线上数据，并提供一键下载血缘为图片，方便进行汇报、或治理成果传播。
进入数据开发 > 批量数据 > 数据加工界面，选中目标作业，点击画布上方的“血缘检测”按钮进入血缘检测页面。
- 血缘检测展示参与加工的字段所在数据表（含跨空间数据表）全链路血缘。分层展示数据，从左到右依次是：SDS（来源数据源）、STG（贴源层）、ODS（标准层）、DWD（标准层）、DWS（汇总层）、ADM（应用层）、TDS（目标数据源），体现数据从上游汇聚层流向下游服务层的过程。
- 数据血缘页面支持按字段或表关键字查询血缘关系，同时在血缘图谱中高亮查询字段或表血缘链路。
血缘导出
点击界面上方的“导出为图片”按钮，可将当前血缘生成png图片，由浏览器自动下载。导出图片包含图例说明，并以字段级全部展开呈现画布展示的形态。
质量等级
将鼠标移至等级图标，会悬浮显示质量等级，点击“查看”按钮，弹出抽屉展示该表质量详情，默认展示按统计对象为“全局对象”，近30天的当前所选表的质量详情，仅支持查看。
作业导入&导出
- 进入数据开发 > 批量数据 > 数据加工界面，左侧目录栏中的“操作”按钮，在下拉框中点击“作业导出/作业导入”按钮，按步骤操作即可。
- 作业导出：
- 导出为固定格式的JOSN文件，文件不支持打开修改，只可用于导入，可跨空间；
- 支持多个作业勾选导出；
- 导出内容：作业基本信息（名称、分组、描述）、画布信息、节点配置、调度配置、参数配置；不包含血缘信息、调度高级配置（数据量、作业依赖）
- 可在右上角下载中心查看导出进度和下载导出文件。
- 作业导入：
- 仅支持上传导出文件，支持批量导入多个作业，可跨空间；但由于每个平台版本的作业功能存在差异，不推荐跨版本导入；
- 已分组作业自动进行分组同名校验，仅校验第一级分组，若存在同名分组，不进行覆盖，直接在作业分组后_1进行新建分组，并将分组下级内容挂载至所新建的一级分组下；
- 未分组作业自动进行作业同名校验，若存在同名作业，不进行覆盖，直接在作业名称后_1进行新建；
- 导入为异步导入，可在运维监控 > 调度管理中的“后台任务”标签页查看任务状态；
