数据量依赖
业务场景
例如:某公司在项目实施过程中遇到了此类问题。该项目的数据源需人工上传,且新增数据的时间不确定。尽管数据量变化较小,但对数据的实时性有很高的要求,需要对变化的数据进行实时加工处理,因此将每次作业的调度周期设置为1分钟,为了减少多次调度无意义且占用资源,使用了数据量依赖功能。
前提条件
- 平台部署完毕,批量同步服务正常;
- 用户拥有批量数据模块权限
使用限制
- 数据量依赖基于周期调度时判断是否触发,最小支持1分钟周期
操作流程
该项目组借助平台 数据开发 > 批量数据 > 数据加工 > 调度配置中的数据量依赖功能,设置作业调度的时间间隔为1分钟后,在高级配置 > 数据量依赖中将触发阈值设为100,触发关系设为与,不论人工何时录入数据,只要数据量变化触发阈值便会开始加工作业,完美解决了该问题。