[发明专利]一种基于MapReduce的自适应作业调度方法

权利要求书

1.一种基于MapReduce的自适应作业调度方法，其特征在于，包括下列步骤：

第一步，MapReduce计算节点根据自身的计算能力、存储能力与网络吞吐能力参数，生成各个计算节点单CPU内核的能力指数；

第二步，参照MapReduce集群计算系统内所有计算节点的能力指数，计算MapReduce作业的数据块规模；

第三步，调度节点根据计算出的数据块规模，对新进入的MapReduce作业的数据进行划分；

第四步，结合各计算节点的能力指数，调度节点动态将MapReduce作业的数据块组装成任务，分配给各计算节点；

第五步，动态统计各计算节点的资源使用率，如果资源使用率低于门限，重新计算MapReduce作业的数据块规模。

2.根据权利要求1所述的基于MapReduce的自适应作业调度方法，其特征在于，所述计算节点单CPU内核的能力指数，包括计算节点扫描自身的硬件配置参数，包括CPU核数、CPU核主频、内存容量及网络接口数量与带宽；根据硬件配置参数，按照下式计算：

式中，C_core代表计算节点单CPU内核的能力指数，C_core越大表示计算节点单一CPU内核对单一任务的处理能力越强，越能处理较大规模的任务；w代表计算节点所有网络接口的带宽之和，单位为Mbps；f代表计算节点的CPU内核主频，单位为GHz；m代表计算节点的内存总量，单位为GB；p代表计算节点的CPU内核数量，单位为个。

3.根据权利要求1所述的基于MapReduce的自适应作业调度方法，其特征在于，所述计算MapReduce作业的数据块规模，包括调度节点统计MapReduce集群计算系统所有计算节点的单核能力指数，按照下式计算数据块大小：

S=min{(α*Ccorei):1≤i≤n}]]>

式中，S代表数据块大小，单位为MB；代表MapReduce集群计算系统中所有计算节点单CPU内核的能力指数的最小值，C_coreⁱ代表第i个计算节点的单核能力指数；n代表MapReduce集群计算系统中计算节点总数；α代表调节因子，取值范围为0～1。

4.根据权利要求1所述的基于MapReduce的自适应作业调度方法，其特征在于，所述MapReduce作业的数据划分，包括如下步骤：设定MapReduce集群计算系统的数据块规模；调用MapReduce集群计算系统的数据划分功能对MapReduce作业的数据划分为数据块。

5.根据权利要求4所述的基于MapReduce的自适应作业调度方法，其特征在于，所述调度节点对任务的动态装配及动态调度，包括计算节点向调度节点报告其剩余能力指数，所述调度节点根据所述计算节点的剩余能力指数，按照下式产生所述计算节点最大可处理数据块数：

D＝C_r/S

式中，D代表所述计算节点最大可处理数据块数，S代表数据块大小，C_r代表计算节点可用的剩余能力指数。

6.根据权利要求5所述的基于MapReduce的自适应作业调度方法，其特征在于，所述计算节点向调度节点报告其剩余能力指数，按照下式公式计算：

C_r＝p*C_core-C_used

式中，C_r代表计算节点可用的剩余能力指数，C_core代表计算节点单CPU内核的能力指数，p代表计算节点的CPU内核数量，C_used代表计算节点当前已经使用的能力指数。