[发明专利]基于系统负载的MPP集群任务调度方法

摘要

本发明涉及一种基于系统负载的MPP集群任务调度方法，其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块，并按以下步骤实现：各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上；MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集集群内所有计算节点的系统负载信息，MPP集群主控节点依据任务的分布信息以及对应节点的负载情况，完成对任务的排队和调度，通过对系统负载的实时监控，实现动态并发控制，可以有效提高资源的利用率，使系统达到最佳吞吐性能。

主权项

1.一种基于系统负载的MPP集群任务调度方法，其特征在于包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块，并按以下步骤实现：步骤1、各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上；步骤2、MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度；所述步骤1的具体处理方法包括以下步骤：⑴后台定时线程收集一定数量的瞬时系统负载值；⑵使用内置的计算模型，对第⑴步中收集到的瞬时系统负载值进行二次统计，计算这段时间内的系统负载变化；⑶若第⑵步计算得到的新系统负载较原记录的负载基准值有稳定变化趋势，则更新系统负载基准值，并将新的负载基准值推送至MPP主控节点；步骤⑵所述内置模型包括统计学中的算数平均数和样本标准差两个数学模型；上述两个数学模型涉及如下信息：n：需要连续采集的瞬时负载样本的数目；Li：采集得到的第i个瞬时负载样本的值；n个瞬时负载样本的平均值，使用算数平均数模型计算，其公式如下：Sn‑1：n个瞬时负载样本的离散度，使用样本标准差模型计算，其公式如下：