[发明专利]基于MapReduce的分布式粒子群分簇算法

说明书

本发明涉及人工智能大数据分析领域，尤其涉及一种基于MapReduce的分布式粒子群分簇算法，其特征在于：算法步骤为：步骤1：采用MapReduce作业更新粒子群质心；步骤2：采用MapReduce作业评估步骤1生成的具有新粒子质心的群体的适应性，计算更新后群的新适应度值，适应度评估基于适应度函数，通过获取粒子质心之间的平均距离来测量所有数据点与粒子质心之间的距离；步骤3：将步骤2计算出的适应度值与步骤1中生成的更新群合并，同时更新最佳个人质心和最佳全局质心；返回步骤1，进行下一次迭代。本发明有效解决超大规模商用数据集的分簇问题，实现高质量分簇。

技术领域

本发明涉及人工智能大数据分析领域，尤其涉及一种基于MapReduce的分布式粒子群分簇算法。

背景技术

随着互联网技术的发展，需要存储、分析、处理的数据呈现爆炸式增长，除了数据量庞大之外，创建或收集的数据也越来越复杂。要解决如何有效地生成、管理和分析数据并获取结果信息，就需要一种全面的、端到端的方法，涵盖从初始数据获取到最终分析的所有阶段。分簇是分析数据时使用的一种数据挖掘技术。分簇算法的主要目标是将一组未标记的数据对象划分为不同簇，使簇成员间具有共同的规范和较近似的成员资格。为了获得高质量的分簇，簇内数据对象之间的相似度被最大化，簇间的数据对象的相似性被最小化。对社交网用户信息分簇、图书馆文章分类、智慧教学学生学情分析、购物者兴趣偏好分析等，均属于对大量高维度记录的超大数据集进行分簇的问题。目前，大多数顺序分簇算法在数据集规模的增长与扩展性方面成反比，高昂的时间复杂度和空间复杂度加剧了分簇算法的成本。

MapReduce编程模型

MapReduce是Google推出的一种编程模型，主要应用于超过1TB规模的大数据集的并行计算，该编程模型可自动化实施并行任务并提供容错和负载平衡。MapReduce编程模型使用Map操作和Reduce操作实现从问题表述到功能抽象的全过程。Map操作将复杂任务分解为若干个简单任务来处理，对大量记录进行迭代，并从每个记录中提取有用的信息，并且将所有具有相同键的值都发送到相同的Reduce操作中。Reduce操作实现汇总，使用从Map操作生成的相同键来聚合中间结果，生成最终结果。Map、Reduce操作如公式(1)和公式(2)所示。

Map操作：Map(k,v)→[(k′,v′)] (1)

Reduce操作：Reduce(k′,[v′]])→[(k′,v′)] (2)

Apache Hadoop是实现MapReduce编程模型的主流开源实施框架，其支持在Apache许可下的数据密集型分布式应用程序，可使应用程序与数千个独立计算的计算机和PB级数据一起工作。Hadoop分布式文件系统(HDFS-存储组件)和MapReduce(处理组件)是ApacheHadoop的主要核心组件。HDFS通过创建目标数据块的多个副本，在保持容错能力的同时，实现对数据高吞吐量的访问。图1展示了具有操作周期的Hadoop体系结构图。

粒子群优化算法