[发明专利]分布式任务调度方法及系统

说明书

本发明实施例公开了一种分布式任务调度方法及系统。方法由分布式调度系统中包括的工作节点执行，分布式调度系统中包括多个主节点，方法包括：定期向至少一个主节点发送参数获取请求，并接收主节点反馈的任务类型和任务负载总量进行本地存储；在检测到新任务处理条件时，根据处理中任务数和任务负载总量计算请求任务数，并根据请求任务数和任务类型，构造任务获取请求；向在多个主节点中确定的第一目标主节点发送任务获取请求，任务获取请求用于指示第一目标主节点获取与请求任务数和任务类型匹配的任务进行反馈。本发明实施例的技术方案，通过工作节点主动向主节点请求任务类型以及任务数量，减少主节点的计算量，提高系统支持的任务并发度。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种分布式任务调度方法及系统。

背景技术

目前，用户在开发应用程序时，需要通过任务调度系统在服务器集群上并行运行应用程序，以完善应用开发。

现有技术中，常用的任务调度系统为主从结构的Yarn，但是，Yarn使用起来难度比较大，对开发功底不太好的用户不够友好。并且，对于业务代码逻辑比较简单的应用程序，开发工作量较大，开发效率比较低，同时，由于Yarn在启动任务的时候需要先申请资源，因此主节点的计算量比较重，不仅无法满足高并发的需求，还可能由于主节点故障导致系统宕机。

发明内容

本发明实施例提供一种分布式任务调度方法及系统，通过工作节点主动向主节点请求任务类型以及任务数量，实现了任务调度的高并发。

第一方面，本发明实施例提供了一种分布式任务调度方法，方法由分布式调度系统中包括的工作节点执行，分布式调度系统中包括多个主节点，方法包括：

定期向至少一个主节点发送参数获取请求，并接收主节点反馈的任务类型和任务负载总量进行本地存储；

在检测到新任务处理条件时，根据处理中任务数和任务负载总量，计算请求任务数，并根据请求任务数和任务类型，构造任务获取请求；

向在多个主节点中确定的第一目标主节点发送任务获取请求，任务获取请求用于指示第一目标主节点获取与请求任务数和任务类型匹配的任务进行反馈。

可选的，还包括：

在检测到任务状态上报条件时，获取当前处理的至少一项任务的任务状态信息，任务状态信息中包括：任务标识与任务状态之间的映射关系；

向在多个主节点中确定的第二目标主节点发送任务状态信息，任务状态信息用于指示第二目标主节点对接收到的任务状态信息进行存储。

可选的，在向在多个主节点中确定的第一目标主节点发送任务获取请求之后，还包括：

如果在第一等待时长内未接收到第一目标主节点反馈的任务，则重新在多个主节点中确定新的目标主节点，并重新向新的目标主节点发送任务获取请求；和/或

如果在第二等待时长内未收到第二目标主节点反馈的任务状态更新成功响应，则重新在多个主节点中确定新的目标主节点，并重新向新的目标主节点发送当前的任务状态信息。

第二方面，本发明实施例还提供了一种分布式任务调度方法，方法由分布式调度系统中包括的主节点执行，分布式调度系统中包括多个主节点，方法包括：

根据第一目标工作节点发送的参数获取请求，查询元数据库，获取与参数获取请求匹配的任务类型以及任务负载总量反馈给第一目标工作节点；

其中，元数据库中存储有工作节点与节点参数之间的映射关系，映射关系为用户通过前端操作平台写入元数据库中的；节点参数包括：任务类型以及任务负载总量；

根据第二目标工作节点发送的任务获取请求，提取与任务获取请求匹配的目标任务请求数以及目标任务类型；