[发明专利]MapReduce系统中的作业分解控制方法及调度节点设备

说明书

技术领域

本发明涉及通信领域的数据处理技术，尤其涉及一种MapReduce系统中的作业分解方法及调度节点设备。

背景技术

MapReduce(映射化简)是一种分布式的用于处理大规模数据集的并行编程系统，通过定义相应的映射(Map)和化简(Reduce)函数即可实现分布式数据处理的功能。MapReduce系统包括调度节点(JobTracker)和若干任务执行节点(TaskTracker)，其网络架构如图1所示，其中：客户端(Client)用于将用户布置的并行处理作业(Job)提交至调度节点；调度节点自动将客户端提交的作业分解为多个具有相同处理功能(但输入数据可能不同)的Map任务和多个具有相同处理功能(但处理的数据可能不同)的Reduce任务，其中，Map任务的输出数据作为Reduce任务的输入数据，并将任务调度给任务执行节点；任务执行节点向调度节点请求任务并执行请求到的任务，任务执行节点在任务执行之后向调度节点上报状态信息。

MapReduce系统(本申请文件中简称MR系统)的工作流程如下：客户端将用户布置的作业提交给MR系统，MR系统中的调度节点(JobTracker)将作业分解为待执行的任务；任务执行节点(TaskTracker)具有一定的任务执行能力，体现为可执行任务数，当TaskTracker没有达到其任务执行能力时，即当前执行的任务数低于可执行任务数，TaskTracker会向JobTracker请求任务，JobTracker从分解出的任务中调度一个任务给TaskTracker执行。

现有技术中，当MR系统中的JobTracker接收到客户端提交的作业时，会立即将作业分解为待执行的任务，并将待执行的任务缓存在内存中，每个待执行的任务均会占用一定的内存容量。

MR系统的任务执行能力由TaskTracker总数和每个TaskTracker的任务执行能力确定，按照现有MR系统中的作业分解方法，JobTracker接收到客户端提交的作业时会立即将作业分解为待执行的任务，如果JobTracker在短时间内接收到大量的作业，将对大量的作业进行分解并在内存中缓存大量的待执行任务，有可能导致JobTracker的内存溢出等问题而宕机，从而影响MR系统的可靠性。

发明内容

本发明提供一种MapReduce系统中的作业分解控制方法及调度节点设备，用以提升MapReduce系统的可靠性。

本发明提供的MapReduce系统中的作业分解控制方法，包括：

调度节点监控本节点的资源使用信息；

在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停从作业缓存队列中提取作业进行分解，所述作业缓存队列中缓存客户端提交的未分解的作业；

在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动从作业缓存队列中提取作业进行分解。

基于同一技术构思，本发明提供的MapReduce系统中的调度节点设备，包括存储模块、监控模块、控制模块和分解模块，其中：

所述存储模块，用于存储作业缓存队列，所述作业缓存队列中缓存客户端提交的未分解的作业；

所述监控模块，用于监控调度节点设备的资源使用信息；

所述控制模块，用于在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停所述分解模块的运行；在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动所述分解模块的运行；

所述分解模块，用于从作业缓存队列中提取作业进行分解。

本发明提供的MapReduce系统中的作业分解控制方法及调度节点设备，预先设定基于资源使用信息的作业分解暂停条件和作业分解重启动条件，调度节点将客户端提交的作业缓存在作业缓存队列中，并对资源使用信息进行监控，在作业分解执行状态下满足作业分解暂停条件时，暂停对作业的分解，在作业分解暂停状态下满足作业分解重启动条件时，重新启动对作业的分解。根据资源使用信息控制对作业的分解，能够有效避免调度节点的内存溢出问题，提升MapReduce系统的可靠性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为现有技术中MapReduce系统的网络架构示意图；