[发明专利]一种基于MapReduce的大型数据集聚类方法

摘要

本发明属于大数据处理技术领域，公开了一种基于MapReduce的大型数据集聚类方法及应用；原始数据的输入和格式转换；Canopy划分与筛选，得到初始的聚簇划分；K‑Means迭代，以Canopy聚类的结果作为初始聚簇划分；分配数据点，K‑Means迭代完成后，得到k个聚簇的完整信息。针对传统的K‑Means算法中存在的初始聚簇中心选择和迭代计算量过大的问题，提出一种基于Canopy划分和过滤的K‑Means改进算法，并在MapReduce技术框架内实现了这种算法，进行了深入的研究。结果显示这种改进算法在聚类准确率、计算开销等方面都有明显的性能提高。

主权项

1.一种基于MapReduce的大型数据集聚类方法，其特征在于，所述基于MapReduce的大型数据集聚类方法包括以下步骤：步骤一，原始数据的输入和格式转换；Hadoop定义了三种输入数据格式化方式：TextInputFormat、KeyValueInputFormat和SequenceFileInputFormat，进行聚类分析的数据为高维向量形式，选择SequenceFileInputFormat；调用Hadoop自带的InputDriver类；步骤二，Canopy划分与筛选，得到初始的聚簇划分，并依据筛选条件确定对数据集合适的聚簇数目K，作为后续K‑Means算法的K值；得到K个初始聚簇的聚簇中心信息，包括代表聚簇中心的特征向量、权重值、其T2范围内的数据点个数和T2范围外T1范围内的数据点个数；对全体数据进行Canopy聚类分析，根据T1、T2阈值为落在T2范围内的数据点加上强标记；通过一个MapReduce任务，包括一个map阶段和一个reduce阶段来实现设计目标；步骤三，K‑Means迭代，以Canopy聚类的结果作为初始聚簇划分，并且以被赋予更高权重的Canopy中心作为落在Canopy聚簇T2范围内的数据点集合的替代，参加K‑Means迭代，实现过滤；通过一个完整的MapReduce任务完成每一次迭代，包括一个map阶段和一个reduce阶段；步骤四，分配数据点，K‑Means迭代完成后，得到k个聚簇的完整信息，将所有数据点分配到相应的聚簇中去；用一个MapReduce任务实现；在每个mapper上计算本地数据点与全局cluser集合中各cluster中心的距离并将数据点添加到距离最近的聚簇中去，并将结果输出到HDFS。