[发明专利]一种作业调度的方法和系统

说明书

本发明公开了一种作业调度的方法和系统，涉及计算机技术领域。该方法的一具体实施方式包括：将接收的触发事件解析成作业的输入条件，并在作业的输入条件全部就绪后，将作业放入作业集合中；从作业集合中取出待派发作业并进行作业派发；从已派发的作业队列中获取作业实例信息并执行作业。该实施方式能够避免调度过程中常见的轮询，极大提升了调度性能；整个作业调度为“去中心化”设计，由多个单独的组件串起来执行，各组件的分工明确，彼此通过消息队列进行解耦，从而可以通过简单的增加实例进行系统扩容。

技术领域

本发明涉及计算机技术领域，尤其涉及一种作业调度的方法和系统。

背景技术

多租户环境下的作业调度面临着以下方面的挑战：一、随着租户的增多，每日运行的任务的量级可达到百万以上，且由于业务领域的不同，作业之间存在着复杂的依赖关系，不同作业有着不同的运行频度要求，甚至还存在着时区的差异；二、异构、多样化的计算平台(如Hadoop平台、流计算平台、大规模并行处理MPP平台等等)，异构的平台决定了调度作业类型的复杂，既有Shell、Python等脚本类作业，也有Spark、Hive等大数据任务，更有微服务框架下的容器类任务；三、复杂的资源管理，多租户环境下需要确保不同租户之间的作业互不干扰，且需要限制在租户申请的资源下运行。这些都对作业调度平台提出了严峻的挑战。

目前，常用的作业调度系统，例如：基于Control-m的调度系统、基于Airflow的调度系统、基于Azkaban的调度系统等，在进行作业调度时，都存在着以下几个方面的问题：

1、无法很好地支持复杂场景下的调度需求，比如跨作业流依赖、事件触发等；

2、无法直接支持多租户环境，且往往在调度量级达到百万甚至千万级别时出现调度瓶颈；

3、对调度资源的管理支持较弱。

发明内容

有鉴于此，本发明实施例提供一种作业调度的方法和系统，能够避免调度过程中常见的轮询，极大提升了调度性能；整个作业调度为“去中心化”设计，由多个单独的组件串起来执行，各组件的分工明确，彼此通过消息队列进行解耦，从而可以通过简单的增加实例进行系统扩容。

为实现上述目的，根据本发明实施例的一个方面，提供了一种作业调度的方法。

一种作业调度的方法，包括：将接收的触发事件解析成作业的输入条件，并在所述作业的输入条件全部就绪后，将所述作业放入作业集合中；从所述作业集合中取出待派发作业并进行作业派发；从已派发的作业队列中获取作业实例信息并执行作业。

可选地，将接收的触发事件解析成作业的输入条件包括：根据所述触发事件匹配使用所述触发事件的对象，获取所述对象所属的作业流信息，并判断所述作业流是否已完成实例化，所述对象包括作业和作业流；若所述作业流已完成实例化，且所述对象为作业，则直接将所述触发事件转换成作业的输入条件；若所述作业流未完成实例化，则进行所述作业流的实例化，然后将所述触发事件转换成作业的输入条件。

可选地，所述作业流的实例化的过程包括：确定所述作业流允许实例化，然后，生成所述作业流包括的作业的作业实例信息。

可选地，在进行作业派发之前，还包括：判断所述待派发作业是否为虚跑状态；若所述待派发作业为虚跑状态，则直接将所述待派发作业的状态设置为执行成功，且无需派发该作业。

可选地，进行作业派发的过程包括：获取当前作业的作业实例信息，并根据所述作业实例信息，获取所述当前作业需使用的逻辑资源；当获取的所述当前作业需使用的逻辑资源不为空时，为所述当前作业添加作业锁；若系统剩余的逻辑资源不存在资源不足锁，则对所述当前作业进行派发；否则，解除所述当前作业的作业锁，并获取下一作业进行作业派发。