[发明专利]Hadoop集群系统的调度方法、调度装置及其应用

权利要求书

1.一种Hadoop集群系统调度方法，其特征在于，所述方法包括步骤：

为每个作业分配系统可用的最大资源；

根据作业属性，按照Johnson算法安排作业的执行顺序；

按照所述执行顺序调度作业。

2.根据权利要求1所述的方法，其特征在于，所述为每个作业分配系统可用的最大资源中：

当作业请求的系统资源R等于系统可用的最大资源S时，为所述作业分配所述系统可用的最大资源S。

3.根据权利要求1所述的方法，其特征在于，所述为每个作业分配系统可用的最大资源中：

当作业请求的系统资源R小于系统可用的最大资源S时，根据所述系统可用的最大资源S对所述作业分片，并为分片后的所述作业分配所述系统可用的最大资源S。

4.根据权利要求1所述的方法，其特征在于，所述为每个作业分配系统可用的最大资源中：

当作业请求的系统资源R大于系统可用的最大资源S时，按照执行N波来为所述作业分配资源；

其中，N=R/S向上取整。

5.根据权利要求4所述的方法，其特征在于，当R/S不为整数时，为第1至第N-1波任务分配系统可用的最大资源S，为第N波任务分配其所需要的资源；

当R/S为整数时，为每波任务分配系统可用的最大资源。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述作业属性为A_i包括阶段持续时间和阶段类型，且

其中，A_i为第i个作业J_i的属性，m_i和r_i分别为作业J_i的Map阶段和Reduce阶段的阶段持续时间，m和r分别表示作业的阶段类型为Map阶段和Reduce阶段。

7.根据权利要求6所述的方法，其特征在于，在所述根据作业属性，按照Johnson算法安排作业的执行顺序的步骤中：

将阶段类型为m的作业根据阶段持续时间由短到长的顺序排序；

将阶段类型为r的作业根据阶段持续时间由长到短的顺序排序；且

将阶段类型为m的作业排在阶段类型为r的作业之前执行。

8.根据权利要求7所述的方法，其特征在于，阶段类型相同的作业按照编号由小到大的顺序排序。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括步骤：

为每个作业编号。

10.根据权利要求6所述的方法，其特征在于，所述方法还包括步骤：

估算作业的阶段持续时间。

11.根据权利要求10所述的方法，其特征在于，所述估算作业的阶段持续时间的步骤中：

当作业请求的系统资源R等于所述系统可用的最大资源S时，根据所述作业请求的系统资源以及系统的先验信息估算所述作业的阶段持续时间。

12.根据权利要求10所述的方法，其特征在于，所述估算作业的阶段持续时间的步骤中：

当作业请求的系统资源R不等于所述系统可用的最大资源S时，根据所述作业所分配到的资源以及系统的先验信息估算所述作业的阶段持续时间。

13.一种Hadoop集群系统的调度装置，其特征在于，所述装置包括：

分配模块，用于为每个作业分配系统可用的最大资源；

排序模块，用于根据作业属性，按照Johnson算法安排作业的执行顺序；

调度模块，用于按照所述执行顺序调度作业。

14.根据权利要求13所述的装置，其特征在于，所述分配模块：

在作业请求的系统资源M等于系统可用的最大资源P时，为所述作业分配所述系统可用的最大资源P。

15.根据权利要求13所述的装置，其特征在于，所述分配模块：

在作业请求的系统资源M小于系统可用的最大资源P时，根据所述系统可用的最大资源P对所述作业分片，并为分片后的所述作业分配所述系统可用的最大资源P。