[发明专利]MapReduce系统中的作业分解控制方法及调度节点设备

权利要求书

1.一种映射化简MapReduce系统中的作业分解控制方法，其特征在于，包括：

调度节点监控本节点的资源使用信息；

在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停从作业缓存队列中提取作业进行分解，所述作业缓存队列中缓存客户端提交的未分解的作业；

在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动从作业缓存队列中提取作业进行分解。

2.如权利要求1所述的方法，其特征在于，所述资源使用信息包括内存使用率，以及所述资源使用信息满足设定的作业分解暂停条件是指内存使用率超过设定的第一使用率阈值，所述资源使用信息满足设定的作业分解重启动条件是指内存使用率低于设定的第二使用率阈值，所述第一使用率阈值高于第二使用率阈值。

3.如权利要求1所述的方法，其特征在于，所述资源使用信息包括内存中的待执行任务数，以及所述资源使用信息满足设定的作业分解暂停条件是指待执行任务数超过设定的第一数量阈值，所述资源使用信息满足设定的作业分解重启动条件是指待执行任务数低于设定的第二数量阈值，所述第一数量阈值高于第二数量阈值。

4.如权利要求1所述的方法，其特征在于，所述资源使用信息包括内存使用率和内存中的待执行任务数，以及所述资源使用信息满足设定的作业分解暂停条件是指内存使用率超过设定的第一使用率阈值或者待执行任务数超过设定的第一数量阈值，所述资源使用信息满足设定的作业分解重启动条件是指内存使用率低于设定的第二使用率阈值并且待执行任务数低于设定的第二数量阈值，所述第一使用率阈值高于第二使用率阈值，所述第一数量阈值高于第二数量阈值。

5.如权利要求1至4任一所述的方法，其特征在于，所述作业缓存队列中缓存的作业按照优先级排序，相同优先级的作业按照提交时间排序，以及所述调度节点从作业缓存队列的头部提取作业进行分解。

6.一种映射化简MapReduce系统中的调度节点设备，其特征在于，包括存储模块、监控模块、控制模块和分解模块，其中：

所述存储模块，用于存储作业缓存队列，所述作业缓存队列中缓存客户端提交的未分解的作业；

所述监控模块，用于监控调度节点设备的资源使用信息；

所述控制模块，用于在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停所述分解模块的运行；在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动所述分解模块的运行；

所述分解模块，用于从作业缓存队列中提取作业进行分解。

7.如权利要求6所述的调度节点设备，其特征在于，所述监控模块包括第一监控子模块，其中：

所述第一监控子模块，用于监控内存使用率；以及

所述控制模块，具体用于在作业分解执行状态下，当内存使用率超过设定的第一使用率阈值时，暂停所述分解模块的运行；在作业分解暂停状态下，当内存使用率低于设定的第二使用率阈值时，重新启动所述分解模块的运行，所述第一使用率阈值高于第二使用率阈值。

8.如权利要求6所述的调度节点设备，其特征在于，所述监控模块包括第二监控子模块，其中：

所述第二监控子模块，用于统计内存中的待执行任务数；以及

所述控制模块，具体用于在作业分解执行状态下，当待执行任务数超过设定的第一数量阈值时，暂停所述分解模块的运行；在作业分解暂停状态下，当待执行任务数低于设定的第二数量阈值时，重新启动所述分解模块的运行，所述第一使用率阈值高于第二使用率阈值。

9.如权利要求6所述的调度节点设备，其特征在于，所述监控模块包括第一监控子模块和第二监控子模块，其中：

所述第一监控子模块，用于监控内存使用率；

所述第二监控子模块，用于统计内存中的待执行任务数；以及

所述控制模块，具体用于在作业分解执行状态下，当内存使用率超过设定的第一使用率阈值或者待执行任务数超过设定的第一数量阈值时，暂停所述分解模块的运行；在作业分解暂停状态下，当内存使用率低于设定的第二使用率阈值并且待执行任务数低于设定的第二数量阈值时，重新启动所述分解模块的运行，所述第一使用率阈值高于第二使用率阈值，所述第一数量阈值高于第二数量阈值。

10.如权利要求6至9任一所述的调度节点设备，其特征在于，还包括：

排序模块，用于将作业缓存队列中缓存的作业按照优先级排序，相同优先级的作业按照提交时间排序；以及，

所述分解模块，具体用于从作业缓存队列的头部提取作业进行分解。