[发明专利]一种基于分布式部署的任务调度方法

权利要求书

1.一种基于分布式部署的任务调度方法，其特征在于，所述方法应用于分布式集群环境中的调度主机和执行节点，所述分布式集群环境还包括至少3个分布式协调主机，协调主机作为分布式架构的协调器，负责监控调度主机和执行主机的健康状态，并完成高可用调度主机的选举；调度主机作为分布式架构的主节点，负责接收数据处理作业并对执行节点进行任务调度；执行主机作为分布式架构的从节点，负责接收调度主机派发的任务并执行，在执行完毕后向调度主机反馈执行结果；调度主机至少建立2个，其中一个作为实际运行并提供任务调度的主用实例，另一个或多个作为备用实例；协调主机能够根据调度主机的健康状态选择高可用的备用实例切换为主用实例；调度主机能够将上一次派发失败或执行失败的任务重新进行任务调度,基于分布式部署的任务调度方法，通过分布式架构中的协调主机、调度主机和执行节点实现，包括如下步骤：

步骤S1.根据用户需求对数据处理作业进行调度配置，定义数据处理作业的执行优先级、开始时间及执行周期；

步骤S21.根据作业的调度配置信息，判断作业是即时作业还是定时作业，如果是即时作业，则进行作业优先级编排，如果是定时作业，则等待至该作业的执行时间，再为其进行优先级编排；

步骤S22.根据作业的历史调度信息，判断是否为上一次下发失败或上一次执行失败的作业，如果是则将执行顺序排为最前，优先输送至优先级作业队列，如果不是则根据作业的调度配置信息，按执行优先级由高至低的顺序依次输送至优先级作业队列；

步骤S3.被输送至优先级作业队列中的作业，根据其处理的数据时间范围，将作业平均分解成若干同等时间范围的子任务，分解的子任务进入任务队列；

步骤S4.获取各个执行节点的繁忙状况和健康状态，将任务队列中的子任务派发给处于空闲且健康状态良好的执行节点执行，如当前无满足上述条件的执行节点，则等待至有空闲的执行节点释放出来再进行派发；

步骤S51.定期询问检查任务的执行结果，如果某个任务的执行结果长时间得不到反馈，则派发中止执行指令给对应的执行节点，并将该作业执行结果定义为失败，该作业重新进行调度时，历史调度信息为上一次执行失败；

步骤S52.单个作业分解的相关子任务全部执行完毕后，以作业为单位汇总各项子任务的执行结果形成作业执行结果。

2.如权利要求1所述的基于分布式部署的任务调度方法，其特征在于，在步骤S2中，历史调度信息是指作业的历史调度情况，包括是否为上一次下发失败和是否为上一次执行失败两种情况。

3.如权利要求1所述的基于分布式部署的任务调度方法，其特征在于，在步骤S4中，所述执行节点的繁忙状况是指执行节点当前正在执行的任务数是否达到阈值，如已达到阈值，该Worker处于繁忙状态，如未达到阈值或当前无任务执行，则处于空闲状态。

4.如权利要求1所述的基于分布式部署的任务调度方法，其特征在于，在步骤S4中，所述执行节点的健康状态是指该执行节点是否正常运行，如正常运行无故障，则该节点处于健康良好状态，否则处于健康异常状态。

5.如权利要求1所述的基于分布式部署的任务调度方法，其特征在于，在步骤S4中，如果等待时间达到设定的阈值，则将以当前作业为单位的全部子任务标记为下发失败，该作业重新进行调度时，历史调度信息为上一次下发失败。

6.如权利要求1所述的基于分布式部署的任务调度方法，其特征在于，在步骤S5中，所述任务的执行结果包括任务的执行时间、执行速度、任务流量、任务运行情况；所述作业的执行结果包括作业的执行时间、执行速度、作业流量、作业运行情况。

7.如权利要求6所述的基于分布式部署的任务调度方法，其特征在于，所述任务运行情况是指，该任务执行成功或失败；所述作业运行情况是指，该作业执行成功或失败。

8.如权利要求1所述的基于分布式部署的任务调度方法，其特征在于，协调主机监控的调度主机和执行主机的健康状态，包括实例所在主机的CPU使用率、JVM堆内存使用情况、JVM线程及GC时间。