[发明专利]分布式任务调度方法、系统及存储介质

说明书

本发明涉及负载调度技术，提供了一种分布式任务调度方法、系统及存储介质。该方法包括：统计可用执行机的数量；设置每个所述可用执行机的可执行任务阈值并记录分布式任务调度系统的每个控制器对每个所述可用执行机的可分配任务数；从任一控制器获取待分配任务，根据该待分配任务的属性信息计算该待分配任务的哈希值；计算所述哈希值与所述可用执行机的数量的第一取余值，从所述可用执行机中确定与该第一取余值对应的可用执行机；根据调度该待分配任务的控制器对所述确定的可用执行机以及其他可用执行机的可分配任务数，选择执行该待分配任务的可用执行机。利用本发明，有利于提高任务执行效率，还可以提高分布式任务调度系统的调度效率。

技术领域

本发明涉及计算机任务管理技术领域，尤其涉及一种分布式任务调度方法、系统及计算机可读存储介质。

背景技术

按照调度信息在何处存储以及调度算法在何处执行，可将任务调度系统分为两类：分布式任务调度系统和分布式任务调度系统。在分布式任务调度系统中，存在一个作为中心调度器的控制器，可以接收所有执行机的状态信息，所有任务由该中心调度器统一调度，然后再分配到各个执行机上去执行。而分布式任务调度系统具有多个控制器，这些控制器共同完成调度策略。分布式任务调度系统的最大优点是具有良好的扩展性。

目前，分布式任务调度系统通常利用多个控制器间的同步通信，实现多个执行机间的负载均衡，然而，由于无法排除网络延迟等因素的影响，调度效率无法得到保障。

发明内容

本发明的主要目的在于提供一种分布式任务调度方法、系统及计算机可读存储介质，用来提高分布式任务调度系统的调度效率。

为实现上述目的，本发明提供一种分布式任务调度方法，应用于分布式任务调度系统，该方法包括：

统计步骤：获取执行机的可用状态，统计可用执行机的数量；

设置步骤：设置每个所述可用执行机的可执行任务阈值并记录所述分布式任务调度系统的每个控制器对每个所述可用执行机的可分配任务数；

映射步骤：从任一控制器获取待分配任务，根据该待分配任务的属性信息计算该待分配任务的哈希值；

计算步骤：计算所述哈希值与所述可用执行机的数量的第一取余值，从所述可用执行机中确定与该第一取余值对应的可用执行机；及

分配步骤：当所述控制器对所述确定的可用执行机的可分配任务数大于0时，将所述待分配任务分配给所述确定的可用执行机执行；当所述控制器对所述确定的可用执行机的可分配任务数不大于0时，将所述待分配任务分配给任一其他所述控制器对其的可分配任务数大于0的可用执行机执行；当所述控制器对所述可用执行机的可分配任务数都不大于0时，随机选择一个可用执行机执行所述待分配任务。

优选地，所述待分配任务的属性信息包括任务名称和任务所有者名称。

优选地，所述映射步骤包括：

利用第一哈希函数对所述待分配任务的名称进行哈希运算，得到第一运算结果；

利用第二哈希函数对所述待分配任务的所有者名称进行哈希运算，得到第二运算结果；

对所述第一运算结果和所述第二运算结果进行异或运算，得到第三运算结果，将该第三运算结果作为所述待分配任务的哈希值。

优选地，所述第一哈希函数和所述第二哈希函数为MD5、SHA-1中的一种或两种。

优选地，所述设置步骤中记录每个控制器对每个所述可用执行机的可分配任务数的过程包括如下步骤：

将所述可执行任务阈值与控制器的数量相除并舍位取整，得到每个控制器对每个所述可用执行机的可分配任务数的初始值；