[发明专利]基于系统负载的MPP集群任务调度方法

说明书

本发明涉及一种基于系统负载的MPP集群任务调度方法，其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块，并按以下步骤实现：各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上；MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集集群内所有计算节点的系统负载信息，MPP集群主控节点依据任务的分布信息以及对应节点的负载情况，完成对任务的排队和调度，通过对系统负载的实时监控，实现动态并发控制，可以有效提高资源的利用率，使系统达到最佳吞吐性能。

技术领域

本发明属于数据库技术领域，主要涉及一种基于系统负载的MPP集群任务调度方法。

背景技术

MPP集群由主控节点和若干个计算节点组成，前端提交的任务经主控节点调度后发送至全部或部分计算节点并行执行，然后再由主控节点汇总执行结果并返回前端。通过支持一定数量的并发，可以充分利用系统资源，提高系统的吞吐量。随着持续提高并发数，系统资源达到最大利用率，系统吞吐量将稳定不再升高。如果继续增大并发，由于系统超负荷工作，多任务之间会出现内存、IO等资源的争用，系统的吞吐量反而可能会下降。在MPP集群分布式、低耦合的多个计算节点的组织结构下，如何控制并发、合理调度是MPP集群面临的重要问题之一。

针对上述问题，现有的解决方案主要有以下两种方式：(1)应用程序实现连接池，通过连接池的容量限制并发数，超出连接池容量的任务等待；(2)MPP集群支持任务队列，每次允许固定数量的任务并发执行，其余排队等待。上述两种解决方法均采用固定的并发数，其通过理论计算或实际测试预先设定系统的最大并发数，避免系统过载，但是，由于任务类型不同(执行节点规模、计算密集型、IO密集型等)，固定并发数则意味着系统资源利用率的不稳定。

发明内容

本发明的目的在于克服现有技术的不足，提供一种设计合理、安全可靠且系统资源利用率高的基于系统负载的MPP集群任务调度方法。

本发明解决现有的技术问题是采取以下技术方案实现的：

一种基于系统负载的MPP集群任务调度方法，包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块，并按以下步骤实现：

步骤1、各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上；

步骤2、MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度；

所述步骤1的具体处理方法包括以下步骤：

⑴后台定时线程收集一定数量的瞬时系统负载值；

⑵使用内置的计算模型，对第⑴步中收集到的瞬时系统负载值进行二次统计，计算这段时间内的系统负载变化；

⑶若第⑵步计算得到的新系统负载较原记录的负载基准值有稳定变化趋势，则更新系统负载基准值，并将新的负载基准值推送至MPP主控节点；

所述步骤⑵内置模型包括统计学中的算数平均数和样本标准差两个数学模型；上述两个数学模型涉及如下信息：

n：需要连续采集的瞬时负载样本的数目；

L_i：采集得到的第i个瞬时负载样本的值；

n个瞬时负载样本的平均值，使用算数平均数模型计算，其公式如下：

S_n-1：n个瞬时负载样本的离散度，使用样本标准差模型计算，其公式如下：