[发明专利]基于系统负载的MPP集群任务调度方法

权利要求书

1.一种基于系统负载的MPP集群任务调度方法，其特征在于包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块，并按以下步骤实现：

步骤1、各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上；

步骤2、MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度；

所述步骤1的具体处理方法包括以下步骤：

⑴后台定时线程收集一定数量的瞬时系统负载值；

⑵使用内置的计算模型，对第⑴步中收集到的瞬时系统负载值进行二次统计，计算这段时间内的系统负载变化；

⑶若第⑵步计算得到的新系统负载较原记录的负载基准值有稳定变化趋势，则更新系统负载基准值，并将新的负载基准值推送至MPP主控节点；

步骤⑵所述内置模型包括统计学中的算数平均数和样本标准差两个数学模型；上述两个数学模型涉及如下信息：

n：需要连续采集的瞬时负载样本的数目；

L_i：采集得到的第i个瞬时负载样本的值；

n个瞬时负载样本的平均值，使用算数平均数模型计算，其公式如下：

S_n-1：n个瞬时负载样本的离散度，使用样本标准差模型计算，其公式如下：

2.根据权利要求1所述的基于系统负载的MPP集群任务调度方法，其特征在于：所述步骤⑴瞬时系统负载值的计算方法为：

LoadDatum＝CPULoad*a％+MemLoad*b％+IOLoad*c％

其中，a％、b％、c％分别表示CPU的占比率、内存的占比率、磁盘IO的占比率。

3.根据权利要求2所述的基于系统负载的MPP集群任务调度方法，其特征在于：所述占比率根据访问代价和任务类型设置，a％、b％、c％分别设置为10％、30％、60％。

4.根据权利要求1所述的基于系统负载的MPP集群任务调度方法，其特征在于：所述步骤⑶负载基准值有稳定变化趋势的判断方法采用如下公式计算：

Δa：需要调整基准值的负载变化量；Δb：n个瞬时负载样本的离散度上限；L_d：当前记录的系统负载基准值；L_new：新的负载基准值。

5.根据权利要求4所述的基于系统负载的MPP集群任务调度方法，其特征在于：所述Δa和Δb的设置原则为：

⑴Δa＝100％/系统最大吞吐性能下的并发数；

⑵Δb<Δa*50％。

6.根据权利要求1所述的基于系统负载的MPP集群任务调度方法，其特征在于：步骤2所述多功能任务调度器包括多级任务队列模块、节点负载管理模块、定时自检模块、任务状态标识管理模块，并通过以下步骤实现：

⑴多功能任务调度器监听等待各类事件，依据事件类型进行相应的操作处理；

⑵监听到有新任务提交，多功能任务调度器将新任务分级入队；跳转至第⑺步；

⑶监听到有节点反馈负载变化，多功能任务调度器更新该节点的负载信息；跳转至第⑺步；

⑷监听到有任务执行结束，跳转至第⑺步；

⑸监听到前端交互操作时，多功能任务调度器立即进行相应的处理：强制结束任务、调整任务队列；跳转至第⑺步；

⑹监听到定时自检任务，多功能任务调度器依次检查各级队列的任务等待时间；若低优先级任务排队超时，升级至中优先级；若中优先级任务排队超时，升级至高优先级；若高优先级任务排队超时，暂时关闭抢占式调度；跳转至第⑺步；

⑺多功能任务调度器进行新一轮的任务调度；跳转至第⑴步。