[发明专利]一种Hadoop集群的在线最小化总完工时间的调度方法和装置

权利要求书

1.一种Hadoop集群在线调度管理的方法，其特征在于，所述方 法包括步骤：

计算出已到达在线作业的Map和Reduce阶段的持续时间；

为每个在线作业分配系统可用的最大资源；

按照先来先服务的执行顺序调度在线作业。

2.根据权利要求1所述的方法，其特征在于，在线算法的竞争比 (competitive-ratio)为[1,2)，

竞争比是新提出算法的总完工时间(本算法为在线算法，T_online) 除以离线的最优总完工时间(T_opt)，

既为：TonlineTopt.]]>

3.根据权利要求1所述的方法，其特征在于，所述为每个在线作 业计算出已到达在线作业的Map和Reduce阶段的持续时间，为每个在 线作业分配系统可用的最大资源中：

当在线作业请求的系统资源R等于系统可用的最大资源S时，为 所述作业分配所述系统可用的最大资源S；

当在线作业请求的系统资源R小于系统可用的最大资源S时，根 据所述系统可用的最大资源S对所述作业分片，并为分片后的所述作 业分配所述系统可用的最大资源S；

当在线作业请求的系统资源R大于系统可用的最大资源S时，按 照执行N波来为所述作业分配资源；

其中，N＝R/S向上取整；

当R/S不为整数时，为第1至第N波任务分配系统可用的最大资源 S；

当R/S为整数时，为每波任务分配系统可用的最大资源。

4.根据权利要求3所述的方法，其特征在于，所述作业属性为A_i包括到达时间、阶段持续时间和阶段类型，且：

其中，A_i为第i个作业J_i的属性，t_i为作业J_i到达系统的时刻，m_i和r_i分 别为作业J_i的Map阶段和Reduce阶段的阶段持续时间，m和r分别表 示作业的阶段类型为Map阶段和Reduce阶段。

5.根据权利要求4所述的方法，其特征在于，在所述根据作业属 性，按照先来先服务算法安排在线作业的执行顺序；

为每个在线作业编号；

估算在线作业的阶段持续时间以及估算在线作业的阶段持续时 间的步骤中：

当在线作业请求的系统资源R等于所述系统可用的最大资源S 时，根据所述在线作业请求的系统资源以及系统的先验信息估算所述 在线作业的阶段持续时间。

当在线作业请求的系统资源R不等于所述系统可用的最大资源S 时，根据所述在线作业请求的系统资源以及系统的先验信息估算所述 在线作业的阶段持续时间。

6.一种在线Hadoop集群系统的调度装置，其特征在于，所述装 置包括：

分配模块，用于为每个在线作业分配系统可用的最大资源；

排序模块，用于根据在线作业属性，按照先来先服务算法安排作 业的执行顺序；

调度模块，用于按照所述执行顺序调度在线作业。