[发明专利]基于负载均衡机制的权重优先Task任务调度方法

权利要求书

1.一种基于负载均衡机制的权重优先Task任务调度方法，其特征在于，所述基于负载均衡机制的权重优先Task任务调度方法包括：将task任务进行分类，以task任务读取速度和占用资源量的大小两个条件，将task任务分为四类；在各个worker节点上加入负载均衡模块，使之成为分布式负载均衡模型；并动态监测各worker节点上的资源使用和负载情况，在master节点上根据权值的大小，再通过与task分类情况进行映射至各个worker节点，再进行task任务的调度；

所述基于负载均衡机制的权重优先Task任务调度方法包括以下步骤；

步骤一，将task任务按照读取速度及占用资源量的大小进行分类；

步骤二，结合加权轮转算法的思想，对worker节点进行权值的计算；

步骤三，在原有模型上加入分布式负载均衡框架；

步骤四，将计算出的worker节点上的权值和task分类后的情况进行映射；并且worker权值为0的节点不进行分配，且占用数据量大且读取速度慢类型的task直接进行慢任务备份，并等待权值最大的worker节点进行分配；

所述步骤一具体包括：分为占用数据量小且读取速度快、占用数据量小且读取速度慢、占用数据量大且读取速度快、占用数据量大且读取速度慢四类；

其中判断task任务大小的方法：

判断task任务是否为慢任务的方法：

一个进程上Task平均进度增长率-进程上Task平均任务增长率≤σ慢节点阈。

2.如权利要求1所述的基于负载均衡机制的权重优先Task任务调度方法，其特征在于，所述步骤二具体包括：CU代表：CPU的利用率；MU代表：内存利用率；WCL代表：单个worker节点上负载的队列长度；capacity代表：该worker节点的权值；count代表：权值计算过程中的计算次数；

其中，CPU利用率的计算方法：

内存利用率的计算方法：

MU_实时可用＝M_总量-M_Buffer-M_cache；

其中，M_总量表示内存总量；MU_实时可用表示目前可以使用的内存容量；M_Free表示空闲内存容量；M_cache表示缓存容量；

单个worker节点上负载的队列长度计算方法：

其中，W_Task表示该worker机上负载task的数量；总_Task表示正在运行的task的数量；W_权值表示该worker机的权值；总_权值表示所有worker机的总权值。

3.如权利要求1所述的基于负载均衡机制的权重优先Task任务调度方法，其特征在于，所述步骤四的慢任务备份条件：未在进程上失败过的task；没有备份过的task；Task所占用的资源量大；属于慢任务。