[发明专利]作业调度方法、装置、调度平台及存储介质

说明书

本申请实施例提供了一种作业调度方法、装置、调度平台及存储介质，该方法应用于大数据技术领域，该方法包括：获取第一工作流的运行流水，所述运行流水包括所述第一工作流的作业依赖关系图的快照和所述第一工作流的至少一个节点中每个节点的状态；根据所述运行流水确定所述第一工作流的满足运行条件的第一节点；将所述第一节点的状态更新为运行状态，并针对所述第一节点生成调度指令；根据所述调度指令调度目标作业集群执行第一节点对应的作业，并获取调度结果；利用所述调度结果再次对所述第一节点进行状态更新。采用本申请，可以提升满足对复杂业务场景的作业调度需求。本申请涉及区块链技术，如将至少一个节点中每个节点的状态写入区块链中。

技术领域

本申请涉及计算机技术领域，尤其涉及大数据技术领域，尤其涉及一种作业调度方法、装置、调度平台及存储介质。

背景技术

分布式系统要做的任务就是把多台机器有机的组合、连接起来,让其协同完成一件任务,这个任务可以是计算任务,也可以是存储任务，等等。在现在的大型分布式系统中，往往需要许多作业协作起来，共同完成一个任务，这时就需要系统有能力把许多作业协作关系定义到一个规则里，并根据规则里定义的作业先后顺序，或串或并来调度作业来完成一个大任务。然而，目前的作业调度系统作业调度的业务场景过于简单，不能满足对复杂业务场景的作业调度需求。

发明内容

本申请实施例提供了一种作业调度方法、装置、调度平台及存储介质，可以满足对复杂的业务场景的作业调度需求。

第一方面，本申请实施例提供了一种作业调度方法，所述方法包括：

获取第一工作流的运行流水，所述运行流水包括所述第一工作流的作业依赖关系图的快照和所述第一工作流的至少一个节点中每个节点的状态；

根据所述运行流水确定所述第一工作流的满足运行条件的第一节点；

将所述第一节点的状态更新为运行状态，并针对所述第一节点生成调度指令；

根据所述调度指令调度目标作业集群执行第一节点对应的作业，并获取调度结果；

利用所述调度结果再次对所述第一节点进行状态更新。

可选的，所述根据所述运行流水确定所述第一工作流的满足运行条件的第一节点，包括：

根据所述第一工作流的至少一个节点中每个节点的状态，从所述至少一个节点中筛选出目标节点集合，所述目标节点集合中各节点的状态为目标状态；

根据所述作业依赖关系图的快照确定所述目标节点集合中各节点的目标前置节点，并根据所述目标节点集合中各节点的目标前置节点的状态，从所述目标节点集合中确定出满足运行条件的第一节点。

可选的，所述方法还包括：

确定目标节点的上一级节点的类型，所述目标节点为以下任一项：为所述第一工作流的结束节点、为所述第一工作流嵌套的第二工作流的结束节点、为所述第一工作流的为目标状态的节点；

在所述目标节点的上一级节点的类型为断点节点时，判断所述目标节点的上一级节点的状态是否为跳过或暂停；在所述目标节点的上一级节点的状态为跳过的情况下，追溯至所述目标节点的上一级节点的父节点；在所述目标节点的上一级节点的父节点有状态时，获取所述目标节点的上一级节点的父节点的状态作为状态运算结果，在所述目标节点的上一级节点的父节点无状态时，从所述目标节点的上一级节点的父节点往上的每一个分支追溯到有状态的节点为止，根据每一个分支追溯到的有状态的节点确定状态运算结果；在所述目标节点的上一级节点的状态为暂停的情况下，将暂停确定为状态运算结果；和/或，