[发明专利]大数据任务动态编排调度方法、装置及计算设备

说明书

本发明实施例涉及大数据技术领域，公开了一种大数据任务动态编排调度方法、装置及计算设备，该方法包括：将多个任务根据依赖关系构成有向无环图，其中，所述有向无环图中的圆圈代表任务，圆圈中的数字表示执行所述任务的资源需求数量；每隔第一预设时间对所述有向无环图中有限时要求的关键任务的资源需求数量进行动态加权；根据预设的规则执行所述有向无环图中的所述任务。通过上述方式，本发明实施例能够进行动态任务编排，优化调节调度任务的执行，保证关键任务可以按时完成。

技术领域

本发明实施例涉及大数据技术领域，具体涉及一种大数据任务动态编排调度方法、装置及计算设备。

背景技术

数据仓库(DataWarehouse，DW)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合，用于支持管理决策。数仓按主题进行组织，对原有分散的数据库数据抽取，清理的基础上经过系统加工，汇总，整理得到。必须消除源数据的不一致性以保证数仓内的信息是关于整个企业一致的全局信息。一旦数据进入数仓，将长期存在，并被用户大量查询，修改和删除操作很少。数仓一般包括企业从某一时点到目前各个阶段的信息，可对企业发展做出定量分析和预测。

数仓调度一般是按照已预先配置好的调度顺序执行，流程是固定的、顺序是固定的，导致了一些特殊场景下关键的调度不能按时被执行。

发明内容

鉴于上述问题，本发明实施例提供了一种大数据任务动态编排调度方法、装置及计算设备，克服了上述问题或者至少部分地解决了上述问题。

根据本发明实施例的一个方面，提供了一种大数据任务动态编排调度方法，所述方法包括：将多个任务根据依赖关系构成有向无环图，其中，所述有向无环图中的圆圈代表任务，圆圈中的数字表示执行所述任务的资源需求数量；每隔第一预设时间对所述有向无环图中有限时要求的关键任务的资源需求数量进行动态加权；根据预设的规则执行所述有向无环图中的所述任务。

在一种可选的方式中，所述将多个任务根据依赖关系构成有向无环图，包括：每新增加一个任务，根据依赖关系将所述任务增加至所述有向无环图中，并根据资源情况指定一个值作为所述任务的资源需求数量。

在一种可选的方式中，所述将多个任务根据依赖关系构成有向无环图，包括：对于所述有向无环图中的无时限要求的所述任务，每隔第二预设时间根据所述任务历史执行时间的中位数更新所述任务的资源需求数量。

在一种可选的方式中，所述每隔第二预设时间根据所述任务历史执行时间的中位数更新所述任务的资源需求数量，包括：每天将所述任务最近7天执行时间的中位数更新为所述任务的资源需求数量。

在一种可选的方式中，所述每隔第一预设时间对所述有向无环图中有限时要求的关键任务的资源需求数量进行动态加权，包括：对于所述有向无环图中的有时限要求的所述关键任务，每隔一分钟根据剩余分钟数对所述关键任务的资源需求数量进行动态加权，其中剩余分钟数等于时限与当前时间的差值。

在一种可选的方式中，所述根据剩余时间对所述关键任务的资源需求数量进行动态加权，包括：根据所述剩余分钟数计算加权值，所述加权值＝(60-剩余分钟数)*2；将所述关键任务的资源需求数量更新为所述加权值。

在一种可选的方式中，所述根据预设的规则执行所述有向无环图中的所述任务，包括：每次选择由未执行任务构成的所述有向无环图中最长链路的根节点作为当前任务节点，其中，依赖未完成的所述任务不参与当前次选择；执行所述当前任务节点的任务直至执行完所述有向无环图中的所有任务。