[发明专利]一种基于MapReduce的数据预取方法

说明书

技术领域

本发明属于计算机技术领域，具体涉及一种关于MapReduce的数据预取方法。

背景技术

作为Hadoop的核心组件之一，MapReduce主要用于分布式计算。在Hadoop平台上，MapReduce的分布式计算框架是搭建在分布式文件系统HDFS(Hadoop Distributed File System)上的，也就是说，MapReduce框架所需的数据输入和数据输出都是基于HDFS的。MapReduce在进行数据处理时，将一个大的作业分成一个个小的计算任务，这些小的任务分为Map任务和Reduce任务，Map任务从HDFS上获取数据作为输入，并且不同Map任务间是相互独立的；Reduce任务的数据输入来源于Map的输出，并最终将处理完的数据存储到HDFS上。

HDFS分布式文件系统在存储数据时，将数据分成默认大小为128MB的数据块，然后以冗余的形式(默认数据本体加备份数总计为3)存储在HDFS上，而HDFS上的数据块最终也是存储到各物理节点上，这些物理节点既承担着数据存储的任务，也承担着数据计算的任务。

Map的数据输入来源于HDFS上的数据块，在处理数据块时，一般是优先选择本地的数据块，然后其次是本机架的数据块，最后才是选择本数据中心的数据块。然而，由于一个作业的数据块在HDFS上并不能完全匹配MapReduce的执行场景来实现高程度的本地化，因为在计算的时候，由于计算节点性能各异，当一个计算节点找不到本地化的任务时，需要等待远程数据块传输到本地，在这个过程中，需要浪费大量的等待时间，从而给集群整体吞吐率和单个作业的执行效率造成影响。所以，如果能有一种预取方法，能将各计算节点未来需要处理的数据块在任务还没有开始前就提前预取到计算节点本地，那将大大提升作业的执行效率和整个集群的吞吐率。

Seo等人(HPMR:Prefetching and pre-shuffling in shared MapReduce computation environment[C]//Cluster Computing and Workshops,2009.CLUSTER'09.IEEE International Conference on.IEEE,2009:1-8.)系统分析了MapReduce作业的执行场景和网络带宽在MapReduce计算中的重要性，并提出一种预取和提前Shuffle的方案用于减少网络带宽的消耗和提升集群吞吐量和作业执行效率，然而，这种预取并不能保证好的预取效果，因为没有考虑到计算节点的性能因素。

发明内容

本发明的目的是提升MapReduce作业的执行效率和系统任务的整体吞吐率，具体实施手段是通过在MapReduce调度中实现非本地化任务的预测并实现提前预取数据块到本地的目的，从而使得计算节点不需要等待数据块的远程传输，提升计算节点的利用率。本发明提出的预取方法可以同时工作在同构和异构MapReduce集群环境，这种预取的思想也不单单针对MapReduce，所有分布式的计算框架都可以借鉴改进。

本发明方法通过性能评估来预测各计算节点的数据块处理量，并根据一系列的计算来评估哪些计算节点会出现非本地化任务，对于通过计算评估的非本地化任务，在计算节点还未申请处理该任务时就提前预取到计算节点本地，从而使得计算节点不会产生计算等待。

本发明具体采用如下技术方案：

一种基于MapReduce的数据预取策略方法，其流程如图1所示，在拥有n个物理计算节点的集群上，针对得到调度的某个具体作业A，在其实施过程中按以下方法进行数据预取：

步骤1：由于集群有同构和异构之分，在计算尚未开始时假设集群是同构的，即假设所有计算节点的计算性能P_i均为1，其中i∈[1,n]；对于作业A，假设该作业对应的数据块个数为b个，且每个数据块在HDFS上的默认备份数为3，设各计算节点上的数据块个数为F_Ti，则总数据块数量∑F_Ti＝3b；

为每个计算节点分配第一轮任务，即为每个物理计算节点分配一个数据块，每个计算节点处理其分配到的第一个计算任务，并计算每个物理计算节点实际计算性能RP_Ti，其中i＝1,…,n；

步骤2：统计各计算节点针对作业A还需要处理的任务个数PB_Ti；