[发明专利]一种基于MapReduce的自适应作业调度方法

说明书

技术领域

本发明属于分布式并行计算领域，具体而言是MapReduce中自适应作业调度方法。 

背景技术

近年来，随着宽带网络技术与并行计算理论的快速发展，一种更简化的分布式并行计算模型——MapReduce应运而生。MapReduce是Google提出的一种实现分布式并行计算任务的通用软件框架，它简化了由普通计算机组成的超大集群上的并行软件编程模式，可用于大规模数据集的并行计算。MapReduce分布式计算系统中，作业的调度策略直接关系到系统整体资源的利用率以及各用户间使用资源的公平性。因此，作业的调度算法成为MapReduce系统面临的一大挑战。 

在当前的MapReduce计算模型中，作业的调度主要由集中控制节点完成，该节点负责将计算任务分配给具有足够资源的空闲节点。为了在集群计算系统中，实现多点并行计算，调度节点将MapReduce应用划分为固定粒度大小的任务，分配给多个节点。然而，MapReduce集群计算系统中各计算节点的计算能力存在较大差异，常规的静态任务划分及指派方法，将影响作业的执行效率以及计算资源的利用率。另一方面，MapReduce集群计算系统的静态调度方法，使得每一个作业真正开始执行之前，需要等待一个较长的时间，完成所有分解任务的初始化装配，从而导致集群系统中的计算资源被浪费。因此，本发明提出一种自适应的任务划分及动态任务调度方法，以解决此类问题。 

发明内容

本发明的目的是克服静态的任务划分及调度技术的缺陷，提供一种基于节点计算能力，具有自适应任务划分和任务调度的方法。 

为达到上述目的，本发明提供的方法包括以下步骤： 

第一步，MapReduce计算节点初始化时，提供一种生成计算节点能力指数的方法，具体而言，各计算节点根据自身的计算能力(CPU核数量、CPU主频)、存储能力(内存容量)与网络吞吐能力(网络带宽)等配置参数，生成计算节点单CPU核的能力指数； 

第二步，参照MapReduce集群计算系统内所有计算节点的能力指数，计算MapReduce作业的数据块规模； 

第三步，调度节点根据计算出的数据块规模，对新进入的MapReduce作业的数据进行划分； 

第四步，结合各计算节点的能力指数，调度节点动态将MapReduce作业的数据块组装成任务，分配给各计算节点； 

第五步，动态统计各计算节点的资源使用率，如果资源使用率低于门限，重新计算MapReduce作业的数据块规模。 

进一步，其中所述计算节点CPU核的能力指数计算，包括计算节点扫描自身的硬件配置参数，包括CPU核数、CPU核主频、内存容量及网络接口数量与带宽；根据硬件配置参数，按照下式产生所述计算节点单核能力指数： 

Ccore=w*f*mp2]]>

式中，C_core代表计算节点单CPU核的能力指数，C_core越大表示计算节点单一CPU核对单一任务的处理能力越强，越能处理较大规模的任务；w代表计算节点所有网络接口的带宽之和，单位为Mbps；f代表计算节点的CPU核主频，单位为GHz；m代表计算节点的内存总量，单位为GB；p代表计算节点的CPU核数量，单位为个。 

进一步，其中所述调度节点基于计算节点的能力指数产生数据块大小，包括调度节点统计MapReduce集群计算系统所有计算节点的单核能力指数，按照下式产生数据块大小：