[发明专利]基于负载均衡机制的权重优先Task任务调度方法

说明书

本发明属于资源分配技术领域，公开了一种基于负载均衡机制的权重优先Task任务调度方法，避免单个高权值worker节点负载过高，以及大的task任务直接被丢弃的问题进行改进；首先将task任务进行分类，以task任务读取速度和占用资源量的大小两个条件，将task任务分为四类；在各个worker节点上加入负载均衡模块，使之成为分布式负载均衡模型；并动态监测各worker节点上的资源使用和负载情况，在master节点上根据权值的大小，再通过与task分类情况进行映射至各个worker节点，再进行task任务的调度。解决各个高权值worker节点间负载不均衡及队列拥堵的问题。

技术领域

本发明属于资源分配技术领域，尤其涉及一种基于负载均衡机制的权重优先Task任务调度方法。

背景技术

目前，业内常用的现有技术是这样的：

在spark源码中，task任务至worker节点的调度过程是按照stage的优先级以及task的本地性进行优先级的区分，默认task采用一个线程来进行计算。在广播task的时候，如果task大于128mb-200mb，则直接将task丢弃。Task将以队列的形式，由master节点分配到各个worker节点。这样会导致各节点之间的分配不均衡，出现高配置节点长期处于饥饿状态，而配置低的节点长期处于满负载状态，导致任务完成时间较长，性能较低，资源利用率较低。在现有的改进算法中，根据worker节点权值进行动态资源分配。每个worker节点通过节点监测模块可以根据自身资源情况及负载变化情况定期动态调整权值大小，master节点调度时读取各节点权值优先选择权值较大节点。但是该算法没有考虑到在高权值的worker节点上等待任务较多，造成任务拥堵的情况。并且，在task任务对worker节点的选择时，仅仅考虑到分配至权值最大的节点，会造成单个worker节点任务数量负载过高的情况。

综上所述，现有技术存在的问题是：现有的改进算法没有考虑到在高权值的worker节点上等待任务较多，造成任务拥堵的情况；在task任务对worker节点的选择时，仅仅考虑到分配至权值最大的节点，造成单个worker节点任务数量负载过高的情况。

解决上述技术问题的难度和意义：

针对Hadoop云平台下，任务调度方案已经出现了很多，也较为成熟。但是在Spark平台下，关于Task的任务调度也出现了一些研究成果。在分布式计算领域中，调度策略的根本目标是根据当前集群中各个Worker节点上的资源(包括CPU、内存和网络资源)剩余情况与各个Task任务要求，在资源和任务之间做出最优的匹配。并且，各个Worker节点的权值不同，节点的计算能力就不同。因此，分布式系统中的Task任务调度是一个多目标优化问题，更进一步说，它是一个典型的NP问题。

发明内容

针对现有技术存在的问题，当前的Spark版本中，在对Task任务的调度过程仅用FIFO的策略进行调度，未考虑到各个Worker节点的计算能力不同的因素，导致计算能力弱的节点阻塞，计算能力强的节点资源闲置。现有的优化策略的研究就过程中，仅考虑到对Worker节点进行权值计算，未考虑到这将导致Task任务阻塞等待Worker节点的资源，以至于增加任务运行时间。本发明提供了一种基于负载均衡机制的权重优先Task任务调度方法。

本发明是这样实现的，一种基于负载均衡机制的权重优先Task任务调度方法，所述基于负载均衡机制的权重优先Task任务调度方法包括：将task任务进行分类，以task任务读取速度和占用资源量的大小两个条件，将task任务分为四类；在各个worker节点上加入负载均衡模块，使之成为分布式负载均衡模型；并动态监测各worker节点上的资源使用和负载情况，在master节点上根据权值的大小，再通过与task分类情况进行映射至各个worker节点，再进行task任务的调度。