[发明专利]一种云环境下的资源调度策略方法

权利要求书

1.一种云环境下的资源调度策略方法，其特征在于：包括如下具体步骤；

S1、预处理：在reduce函数开始执行前，利用Reduce阶段混洗数据并统计压力值；

S2、获取全局负载：在reduce函数开始执行后，通过压力反馈调度模块收到每个reducer的压力值，得到全局负载情况；

S3、监测：压力统计模块继续对输入数据进行监测，统计输入数据的消耗量，得到各reducer的输入数据消耗速度及任务处理进度，并获取当前处理进度最慢的任务P；

S4、判断：判断reducer任务是否满足调度条件；

其中，当一个reducer完成任务变为空闲时，调度模块更新当前reducer的任务处理进度，对当前任务执行情况进行判断，如果进度最落后的节点仍未满足调度条件，此时不再执行调度算法，由当前节点继续完成任务的执行；反之若满足调度条件，通知压力反馈调度模块，进行负载调度；

S5、获取任务：调度器根据记录的当前各节点处理进度信息，获取当前处理进度最慢的任务P，取得其对应的reducer位置；

S6、任务暂停：暂停该reducer的执行，并将该reducer未处理的剩余输入数据一分为二，分别交由当前reducer和空闲reducer；

S7、任务恢复：恢复两个reducer的执行，并更新调度器中的任务处理进度。

2.根据权利要求1所述的一种云环境下的资源调度策略方法，其特征在于：所述步骤S1中，在reduce函数开始执行前，利用Reduce阶段混洗数据并统计压力值，其具体方法为：首先在Reduce阶段执行reduce函数前，每个reducer不断地从刚刚完成的mapper处拉取数据，并将拉取过来的数据先放入内存缓冲区中，不断地执行合并操作；

其中，每个reducer在做合并操作的同时，由压力统计模块对拉取的输入数据进行统计，统计的结果用键值对(reducerid,weight)表示，其中，reducerid用于标识reducer，weight表示对应reducer需处理的数据量，即该reducer的压力，记作W(r)；

接着Map阶段所有的任务完成，Reducer的输入文件确定，整个混洗过程结束，执行reduce函数，并将最终结果存放到HDFS上，在混洗阶段结束后，每个reducer得到各自的压力值W。

3.根据权利要求2所述的一种云环境下的资源调度策略方法，其特征在于：每个所述压力值W传递给压力反馈调度模块，通过压力反馈调度模块记录并统计每个reducer的压力值，从而得到全局负载情况。

4.根据权利要求1所述的一种云环境下的资源调度策略方法，其特征在于：所述步骤S3中，压力统计模块继续对输入数据进行监测，统计输入数据的消耗量，得到各reducer的输入数据消耗速度及任务处理进度，并获取当前处理进度最慢的任务P，其具体步骤如下：

a：在Reduce阶段的reduce函数开始执行后，压力统计模块继续对输入数据进行的监测，统计输入数据的消耗量W(r)cost，利用数据消耗量与已用时间的比值，得到各reducer的输入数据消耗速度：v(r)＝W(r)_cost/Δt；

b：将每个reducer的数据消耗量与处理时间反馈给压力反馈调度模块，利用先前获取的各节点的压力值W(r)，与通过反馈信息获取的节点数据的消耗量W(r)cost以及已运行时间Δt，得到各个reducer的当前处理进度P_r：P_r＝W(r)_remain/v(r)＝(W(r)-W(r)_cost)×Δt/W(r)_cost；

c：根据步骤b中得到的当前处理进度P_r，获取当前处理进度最慢的任务，并实时判断任务是否满足调度条件，从而使得调度算法能够在合适的时机做出调度决策，当算法不能显著提高任务进度的时候及时终止，避免盲目的调度。