[发明专利]一种基于异步启动的Hadoop优化方法

说明书

本发明公开了一种基于异步启动的Hadoop优化方法通过将作业从串行执行改为部分并发执行，使得其整个作业执行过程得到优化，大大提升迭代运算的速度，有效提升执行效率。本发明不需要修改底层的代码，使用方便，而且能提高集群的利用率，没有内存空间的瓶颈。本发明作为一种基于异步启动的Hadoop优化方法可广泛应用于Hadoop架构技术中。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于异步启动的Hadoop优化方法。

背景技术

现在的Hadoop处理迭代运算存在以下性能瓶颈：

完全串行执行：每个作业都要等上一个作业完全结束才能开始；

冗长的启动时间：作业的启动时间平均需要10-15秒，这是一个巨大的时间浪费；

Reduce过程过长：Reduce过程是计算全局中心点并且将结果写入到HDFS的过程，这个过程需要耗时10秒左右，同样是较大的时间消耗；

随机选择初始中心点：初始中心点对于k-means的迭代次数影响非常大，若选择较好的初始中心点，有助于减少迭代的次数和总时间的消耗。

重复的I/O读写：每次Map端读取的数据基本没有变化，但是却每次作业启动后都要读取一次；

网络带宽消耗：读取的数据要从其他节点读取，而非本地化计算，造成大量网络带宽的消耗。

针对上述Hadoop存在的性能问题，现在出现了很多对Hadoop迭代运算的改进，但是可以发现大部分的改进都要涉及到Hadoop底层源码的修改，当用户需要切换到原来的Hadoop的模式的时候，就必须要更换整个Hadoop的框架，所以造成非常大的不便。此外，部分改进的方法用缓存将重复读写的数据保存起来，虽然这样可以避免了I/O的重复访问，但是，这样也会加大节点的内存的压力，带来性能瓶颈，同时也改变了整个Hadoop的结构，失去了Hadoop的特性。

Hadoop：分布式大数据数据处理工具；

MapReduce：分布式计算框架；

k-means算法：基于划分的经典聚类算法；

迭代运算：需要经过多次运算才能达到迭代的条件的运算；

HDFS：Hadoop分布式文件系统。

发明内容

为了解决上述技术问题，本发明的目的是提供一种提升运算效率，且无需修改底层代码的一种基于异步启动的Hadoop优化方法。

本发明所采用的技术方案是：

一种基于异步启动的Hadoop优化方法，包括以下步骤：

A、上传数据文件至HDFS，并将数据文件分为多个数据块；；

B、将分块后的数据块进行拷贝并将其分布于不同的机器上；

C、发出启动指令，并提交MapReduce作业和分配map任务以及MyReduce任务；

D、执行map任务，运行Map函数对数据块进行处理，得到中间结果数据并发送，并启动下一迭代作业；

E、执行MyReduce任务，接收中间结果数据，并对其进行处理，得出本次迭代结果，同时于下一迭代作业中执行步骤D；

F、根据迭代结果判断是否达到迭代结束条件，若是，则结束迭代；否则，为下一迭代作业服务返回执行步骤E。

作为所述的一种基于异步启动的Hadoop优化方法的进一步改进，所述步骤C包括：

C1、发出启动指令，提交MapReduce作业；