[发明专利]一种高效的动态均衡分布式任务调度方法及系统

说明书

本发明公开了一种高效的动态均衡分布式任务调度方法，属于大数据处理的技术领域，该调度方法包括：通过主节点master获取当前空闲的处理节点slave；主节点master根据各个处理节点slave的资源信息，动态计算各所述处理节点slave的权重并根据权重将任务加权均衡成多个子任务；主节点master将切分后的多个子任务分发给各个处理节点slave；将处理结果上报至主节点master并动态调整各个处理节点slave的资源信息，以达到改善分布式调度流程、提高任务调度效率以及提高资源利用率的目的。

技术领域

本发明属于大数据处理的技术领域，更涉及分布处理的技术领域，具体而言，涉及一种高效的动态均衡分布式任务调度方法及系统。

背景技术

在分布处理领域，大部分业务处理任务需要分发到多个节点进行处理，最后再回收处理结果。在一个分布式集群类，往往每个节点的资源情况、业务情况各不相同，直接影响的是对于相同的任务其处理能力各不相同，那怎样来切分以及分发任务到这些节点显的尤为重要，因为这不仅关系到资源是否充分利用，还关系到任务是否能及时的被完成。

目前分布调度方案，在任务层面主要有均衡法、加权均衡法等调度方案，具体如下：

(1)均衡法是将任务平均分配给每个处理节点。该方案没有管理处理节点本身的处理能力，当每个节点资源情况不同时，任务看似均分，实则会导致部分节点繁忙，部分节点空闲，调度效率低下，且造成资源浪费；

(2)加权均衡法是将各个节点的资源情况换算成一个权重，在分发任务时，加上权重进行均分。

该方案，根据各个节点的资源情况，差异性分发任务，能较好的将任务量和资源情况关联起来，较好的充分利用资源，但该方案无法适应动态的资源变化，因为一个处理节点的处理能力，可能在实时变化，如果只按一套固定的权重，同样会导致上述问题。

基于上述，需要对分布式调度方案进行优化处理，使其能充分利用资源。

发明内容

鉴于此，为了解决现有技术存在的上述问题，本发明的目的在于提供一种高效的动态均衡分布式任务调度方法及系统以达到改善分布式调度流程、提高任务调度效率以及提高资源利用率的目的。

本发明所采用的技术方案为：一种高效的动态均衡分布式任务调度方法，该调度方法包括：

通过主节点master获取当前空闲的处理节点slave；

主节点master根据各个处理节点slave的资源信息，动态计算各所述处理节点slave的权重并根据权重将任务加权均衡成多个子任务；

主节点master将切分后的多个子任务分发给各个处理节点slave；

将处理结果上报至主节点master并动态调整各个处理节点slave的资源信息。

进一步地，所述资源信息包括处理节点slave的CPU个数、内存大小以及处理效率因子。

进一步地，所述主节点master接收到处理节点slave对任务的处理结果后，根据其处理时长动态调整处理效率因子。

进一步地，所述动态调整处理效率因子的方法为：

记所有处理节点slave处理的平均耗时为a；

令处理节点slave的处理效率因子为1～b，且处理时长等于a的slave的效率因子为b/2；处理时长为t的处理效率因子＝t/a*(b/2)，且处理效率因子大于b的记为b，处理效率因子小于1的记为1。

进一步地，通过加权均衡算法将任务加权均衡成多个子任务，该加权均衡算法为：

设每单位CPU个数的权重为i，设每单位内存大小的权重为j，单个处理节点slave的权重为f，f＝i+j+处理效率因子；