[发明专利]基于Spark的快速寻找聚类中心的方法和系统

摘要

本发明涉及一种基于Spark的快速寻找聚类中心的方法，涉及计算机信息获取和处理技术。本发明实现了基于Spark的并行CFSFDP聚类算法，利用内存并行计算框架解决了CFSFDP聚类算法处理数据规模小、效率低的问题。基于Spark的并行CFSFDP聚类算法首先通过把两点距离计算分成完全独立的子部分，再将计算结果在汇总服务器上处理分析，然后继续将一系列计算任务切割成独立子任务，汇总到一台服务器上，最终并行计算得到聚类中心，在得到聚类中心后串行计算得到所有数据点的类别。本发明在处理数据中充分发挥了CFSFDP算法的优点，弥补一些常用并行聚类算法的不足。

主权项

1.一种快速寻找聚类中心的方法，其特征在于，包括：步骤1，基于Spark并行计算框架读取储存在分布式文件系统中的数据集，并生成弹性分布式数据集；步骤2，对该弹性分布式数据集进行并行处理，得到第一数据点到第二数据点之间的第一距离；设定阈值，将该第一距离和该阈值，并行处理得到该第一数据点的密度；将该密度生成广播变量并分配到计算结点；步骤3，对该广播变量和第一距离并行处理，得到近邻点，以及该第一数据点到该近邻点的第二距离；步骤4，根据该密度和该第二距离选出聚类中心，进行类别指定，完成聚类。