[发明专利]一种基于任务类型的动态MapReduce 调度方法及系统

权利要求书

1.一种基于任务类型的动态MapReduce调度方法，其特征在于，包括如下步骤：

A.进入等待队列，所有提交到工作结点集群上的工作任务都先进入等待队列，由等待队列将工作任务部分调度到工作结点集群；

B.工作任务分类，根据预测机制将工作任务分为CPU密集型和I/O密集型；

C.工作任务迁移,根据步骤B得到的预测结果将工作任务迁移到CPU密集型队列或I/O密集型队列；

D.工作任务调度，CPU密集型队列和I/O密集型队列分别独立调度，将工作任务调度到工作结点集群，执行任务。

2.根据权利要求1所述的动态MapReduce调度方法，其特征在于，在所述步骤C中，当工作任务资源需求变化或错误时，能够将工作任务从CPU密集型队列迁移到I/O密集型队列、或者将工作任务从I/O密集型队列迁移到CPU密集型队列。

3.根据权利要求1所述的动态MapReduce调度方法，其特征在于，在所述步骤D中，每个队列独立工作，分别以先进先出的方式调度并配置优先级，在存在多种任务类型的环境中，将CPU密集型和I/O密集型交替调度到工作结点集群。

4.根据权利要求1所述的动态MapReduce调度方法，其特征在于，在所述步骤B中，工作任务包括Map任务与Reduce任务，需要采集的数据包括Map任务与Reduce任务产生输入及输出大小、Map任务与Reduce任务的执行时间和Map任务与Reduce任务所在结点的磁盘读写速率。

5.根据权利要求1所述的动态MapReduce调度方法，其特征在于，在所述步骤B中，所述预测机制的方法是：假设同一工作任务对资源的需求情况一致，即，一个工作任务各部分对资源需求大体一致，类型相同；然后从历史运行数据中获得工作任务对资源的需求情况，预测整个工作任务的类型。

6.一种基于任务类型的动态MapReduce调度系统，其特征在于，包括：

等待队列及调度模块，用于所有提交到工作结点集群上的工作任务都先进入等待队列，由等待队列将工作任务部分调度到工作结点集群；

任务分类模块，用于根据预测机制将工作任务分为CPU密集型和I/O密集型；

任务迁移模块,用于根据步骤B得到的预测结果将工作任务迁移到CPU密集型队列或I/O密集型队列；

任务调度模块，用于CPU密集型队列和I/O密集型队列分别独立调度，将工作任务调度到工作结点集群，执行任务。

7.根据权利要求6所述的动态MapReduce调度系统，其特征在于，在所述任务迁移模块中，当工作任务资源需求变化或错误时，能够将工作任务从CPU密集型队列迁移到I/O密集型队列、或者将工作任务从I/O密集型队列迁移到CPU密集型队列。

8.根据权利要求6所述的动态MapReduce调度系统，其特征在于，在所述任务调度模块中，每个队列独立工作，分别以先进先出的方式调度并配置优先级，在存在多种任务类型的环境中，将CPU密集型和I/O密集型交替调度到工作结点集群。

9.根据权利要求6所述的动态MapReduce调度系统，其特征在于，在所述任务分类模块中，工作任务包括Map任务与Reduce任务，需要采集的数据包括Map任务与Reduce任务产生输入及输出大小、Map任务与Reduce任务的执行时间和Map任务与Reduce任务所在结点的磁盘读写速率。

10.根据权利要求6所述的动态MapReduce调度系统，其特征在于，在所述任务分类模块中，所述预测机制的方法是：假设同一工作任务对资源的需求情况一致，即，一个工作任务各部分对资源需求大体一致，类型相同；然后从历史运行数据中获得工作任务对资源的需求情况，预测整个工作任务的类型。