[发明专利]一种基于异步启动的Hadoop优化方法

摘要

本发明公开了一种基于异步启动的Hadoop优化方法通过将作业从串行执行改为部分并发执行，使得其整个作业执行过程得到优化，大大提升迭代运算的速度，有效提升执行效率。本发明不需要修改底层的代码，使用方便，而且能提高集群的利用率，没有内存空间的瓶颈。本发明作为一种基于异步启动的Hadoop优化方法可广泛应用于Hadoop架构技术中。

主权项

1.一种基于异步启动的Hadoop优化方法，其特征在于：包括以下步骤：A、上传数据文件至HDFS，并将数据文件分为多个数据块；B、将分块后的数据块进行拷贝并将其分布于不同的机器上；C、发出启动指令，并提交MapReduce作业和分配map任务以及MyReduce任务；D、执行map任务，运行Map函数对数据块进行处理，得到中间结果数据并发送，并启动下一迭代作业；E、执行MyReduce任务，接收中间结果数据，并对其进行处理，得出本次迭代结果，同时于下一迭代作业中执行步骤D；F、根据迭代结果判断是否达到迭代结束条件，若是，则结束迭代；否则，为下一迭代作业服务返回执行步骤E；所述步骤E中执行MyReduce任务，接收中间结果数据，并对其进行处理，得出本次迭代结果，其包括：E1、监听从map端发来的数据，接收中间结果数据；E2、判断接收的中间结果数据的局部中心点集合的数量是否等于map任务的数量，若是，则执行步骤E3；否则，返回执行步骤E1；E3、根据中间结果数据，计算全局中心点，得到本次迭代结果；E4、将迭代结果写入HDFS。