[发明专利]一种基于MapReduce的非精确任务并行处理方法

说明书

技术领域

本发明属于云计算领域，涉及一种基于MapReduce面向非精确计算应用的任务并行处理方法。

背景技术

MapReduce是云计算领域最流行的并行计算方法，它的出现是该领域的一个里程碑事件。MapReduce支持使用大量计算节点并行处理大数据作业，对数据密集型计算具有重要意义。MapReduce执行流程如图1所示，其计算过程由两个基本任务组成：Map和Reduce。Map任务将输入数据划分成若干个数据子集，并针对每个子集产生一个在单节点上运行的Map子任务，每个子任务都产生<key,value>形式的中间结果；Reduce任务也是由若干个在单节点上运行的子任务组成，每个子任务只接收部分<key,value>形式的中间结果，待所有Map子任务结束后，Reduce子任务同步开始处理，产生最终结果。

在MapReduce执行流程中，用户需要编写Map和Reduce函数来设计子任务的数据处理逻辑程序。其他操作，如数据分割、子任务调度、子任务启动、Reduce子任务取中间数据、Reduce子任务同步执行等，都由MapReduce系统本身实现，对用户透明。

根据MapReduce的执行流程可知，Map子任务是分配到不同的计算节点上并行执行的。由于存在计算节点的计算能力不同等原因，导致实际运行过程中，经常存在一些严重滞后的Map子任务，如图2中Map子任务5和Map子任务7的时间远远超过了其他Map子任务。

由于Reduce子任务执行前存在一个同步过程，即必须等到所有Map子任务都结束后才会被执行，因此，晚结束的Map子任务会滞后Reduce子任务执行的开始时间，如图3所示。

针对上述问题，现有的处理方法是将可能出现滞后的Map子任务调度到其他节点上运行，以减少Map子任务滞后的概率和影响，从而提前同步过程。如图4所示，假设Map子任务5被判断可能滞后，因此在运行Map子任务3的节点上重新启动执行子任务5，类似地，Map子任务7在运行Map子任务6的节点上重新启动执行。新启动的Map子任务5和Map子任务7执行获得改善，同步被提前。这种解决办法虽然可以改善Map子任务滞后的情况，但是对Map子任务的再次分配不能保证一定缩短整个Map任务的时间，而且即便能够缩短整个Map任务的时间，也会浪费更多的计算资源。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供了一种基于MapReduce的面向非精确计算应用的任务并行处理方法，可以显著的缩短Map任务的执行时间，节约计算资源，提高任务并行执行的效率。

本发明的技术解决方案是：一种基于MapReduce的非精确任务并行处理方法，步骤如下：

（1）选取M个分布式节点作为Map子任务的执行节点，同时选取一个分布式节点作为Check节点，所述的Check节点上存储有将要执行的具有非精确计算特征的任务是否完成的判断逻辑，其中M为正整数；

（2）将所述的具有非精确计算特征的任务分解成N个Map子任务分配给所述M个执行节点执行；

（3）每一个Map子任务执行完毕时，均向Check节点发送子任务执行完毕信息以及与判断逻辑相关的结果信息；

（4）每收到一个Map子任务执行完毕信息，Check节点就将新收到的结果信息累计到此前已收到的结果信息中，并判断累计结果是否满足判断逻辑，如果已经满足则转步骤（5）；如果没有满足则继续等待接收新的Map子任务执行完毕信息，直至累计结果满足判断逻辑后再转入步骤（5）；

（5）终止所有Check节点尚未接收到执行完毕信息的Map子任务，结束Map任务执行过程，同步开始Reduce子任务；

（6）获取Reduce任务的执行结果，具有非精确计算特征的任务执行完毕。