[发明专利]一种基于异步启动的Hadoop优化方法

权利要求书

1.一种基于异步启动的Hadoop优化方法，其特征在于：包括以下步骤：

A、上传数据文件至HDFS，并将数据文件分为多个数据块；

B、将分块后的数据块进行拷贝并将其分布于不同的机器上；

C、发出启动指令，并提交MapReduce作业和分配map任务以及MyReduce任务；

D、执行map任务，运行Map函数对数据块进行处理，得到中间结果数据并发送，并启动下一迭代作业；

E、执行MyReduce任务，接收中间结果数据，并对其进行处理，得出本次迭代结果，同时于下一迭代作业中执行步骤D；

F、根据迭代结果判断是否达到迭代结束条件，若是，则结束迭代；否则，为下一迭代作业服务返回执行步骤E；

所述步骤E中执行MyReduce任务，接收中间结果数据，并对其进行处理，得出本次迭代结果，其包括：

E1、监听从map端发来的数据，接收中间结果数据；

E2、判断接收的中间结果数据的局部中心点集合的数量是否等于map任务的数量，若是，则执行步骤E3；否则，返回执行步骤E1；

E3、根据中间结果数据，计算全局中心点，得到本次迭代结果；

E4、将迭代结果写入HDFS。

2.根据权利要求1所述的一种基于异步启动的Hadoop优化方法，其特征在于：所述步骤C包括：

C1、发出启动指令，提交MapReduce作业；

C2、将map任务、MyReduce任务和数据块发送至各节点。

3.根据权利要求1所述的一种基于异步启动的Hadoop优化方法，其特征在于：所述步骤D中执行map任务，运行Map函数对数据块进行处理，得到中间结果数据并发送，其包括：

D1、从各个节点中读取数据块；

D2、根据数据块，运行Map函数计算局部中心点，得到中间结果数据，并将其从map端发送至MyReduce端。

4.根据权利要求3所述的一种基于异步启动的Hadoop优化方法，其特征在于：所述步骤D2中计算局部中心点采用kmeans算法。

5.根据权利要求1所述的一种基于异步启动的Hadoop优化方法，其特征在于：所述步骤E3中计算全局中心点采用kmeans算法。