[发明专利]基于hadoop的海量数据挖掘方法

权利要求书

1.基于hadoop的海量数据挖掘方法，其特征在于：所述方法通过将遗传算法与Hadoop平台的Map/Reduce并行计算框架进行融合，用于Hadoop集群环境中的Web数据分析。

2.根据权利要求1所述的基于hadoop的海量数据挖掘方法，其特征在于，所述方法操作步骤如下：

1）作业提交：用户提交基于MapReduce编程规范编写的作业；

2）任务指派：作业控制节点根据作业的情况，计算出需要的Map任务数M和Reduce任务数R，并根据数据分布情况和对应节点的负载，将Map任务分给存储该任务对应的数据且负载最轻的任务执行节点，同时根据作业结果的要求，分配相应任务执行节点执行Reduce任务；

3）任务数据读取：被分配到Map子任务的任务执行节点读入已经分割好的数据作为输入，经过处理后生成key/value对；

4）Map任务执行：任务执行节点调用从作业控制节点获取到的用户编写的Map函数，并将中间结果缓存在内存中；

5）本地写中间结果：内存中的中间结果达到一定阈值后，会写入到任务执行节点地的磁盘中，这些中间数据通过分区函数分成R个分区，并将它们在本地磁盘的位置信息发送给作业控制节点，然后作业控制节点将位置信息发送给执行Reduce子任务的任务执行节点；

6）远程读中间文件：执行Reduce的任务执行节点从作业控制节点获取子任务之后，根据中间结果的位置信息通过socket拉取数据，并利用中间结果的key值进行排序，并将具有相同key的对进行合并；

7）执行Reduce任务：执行Reduce任务的任务执行节点遍历所有排序后的中间数据，并传递给用户的Reduce函数，执行Reduce过程；

8）输出结果：当所有的Map任务和Reduce任务都完成时，作业控制节点控制将R个Reduce结果写到HDFS之上。

3.根据权利要求1或2所述的基于hadoop的海量数据挖掘方法，其特征在于：所述方法基于hadoop的数据挖掘即服务，从DMaas给出面向数据挖掘的云端实施方案。