[发明专利]一种任务调度方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种任务调度方法，该方法包括以下步骤：当检测到目标任务生成时，向Zookeeper分布式应用程序协调系统发送第一分布式锁获取请求；判断是否获取到目标任务对应的第一分布式锁；若是，则获取目标任务所属的目标任务类型；将目标任务发送给目标任务类型对应的任务执行节点组。应用本发明所提供的任务调度方法，较大地提高了任务调度效率。本发明还公开了一种任务调度装置、设备及存储介质，具有相应技术效果。

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种任务调度方法、装置、设备及计算机可读存储介质。

背景技术

当今的大数据平台需要执行各种数据整合脚本，如数据同步任务，指标计算任务，甚至机器学习训练任务。而对这些存在复杂关系的任务，需要对任务进行编排、执行、执行进度监控、执行异常处理、资源隔离处理。任务调度是大数据平台中最基础也是最核心的功能。

现有的任务调度方式是根据当前任务执行节点配置需求进行相应的节点配置，以jar包形式提交执行，配置效率低，任务调度效率低。

综上所述，如何有效地解决现有的任务调度方式调度效率低的问题，是目前本领域技术人员急需解决的问题。

发明内容

本发明的目的是提供一种任务调度方法，该方法较大地提高了任务调度效率；本发明的另一目的是提供一种任务调度装置、设备及计算机可读存储介质。

为解决上述技术问题，本发明提供如下技术方案：

一种任务调度方法，包括：

当检测到目标任务生成时，向Zookeeper分布式应用程序协调系统发送第一分布式锁获取请求；

判断是否获取到所述目标任务对应的第一分布式锁；

若是，则获取所述目标任务所属的目标任务类型；

将所述目标任务发送给所述目标任务类型对应的任务执行节点组。

在本发明的一种具体实施方式中，当所述目标任务包含多个子任务时，在获取所述目标任务所属的目标任务类型之前，还包括：

获取所述目标任务对应的有向无环图调度元数据；

按照所述有向无环图调度元数据对所述目标任务进行切分，得到各子任务；

获取所述目标任务所属的目标任务类型，包括：

分别获取各所述子任务所属的目标任务类型；

将所述目标任务发送给所述目标任务类型对应的任务执行节点组，包括：

根据各所述目标任务类型将各所述子任务分发给对应的任务执行节点组。

在本发明的一种具体实施方式中，分别获取各所述子任务所属的目标任务类型，包括：

分别获取各所述子任务对应的目标执行环境标识；

根据各所述目标任务类型将各所述子任务分发给对应的任务执行节点组，包括：

根据各所述目标执行环境标识将各所述子任务分发给对应的任务执行节点组。

在本发明的一种具体实施方式中，在根据各所述目标执行环境标识将各所述子任务分发给对应的任务执行节点组之后，还包括：

接收任务执行状态查看请求；

对各所述子任务的执行状态进行可视化显示操作。

在本发明的一种具体实施方式中，在根据各所述目标任务类型将各所述子任务分发给对应的任务执行节点组之后，还包括：

确定各所述任务执行节点组中执行相应子任务的目标任务执行节点；