[发明专利]一种基于Spark计算模型的K‑Means算法优化方法

摘要

本发明公开了一种基于Spark计算模型的K‑Means算法优化方法，主要解决现有K‑means算法对初始中心选取依赖性强、分类数K未必总是已知及算法频繁迭代资源开销大等问题。该方法实现步骤是对数据源进行数据预处理；采用Canopy算法选取合适K值；采用基于欧氏距离的最大最小距离算法选取初始中心；对数据集进行Map操作，得到样本到中心点的距离和相似度最高的中心点；对同一中心点下的RDD对象进行Reduce操作，反复迭代最终得到聚类结果。本发明相较其他K‑Means改进的算法，能够充分利用Canopy的粗聚类结果和最大最小距离算法的合理初始点，通过Spark计算模型实现了海量数据中的并行运算，能够大大减少处理海量数据的时间，具有良好的收敛速度、准确性以及较强的实用价值。

主权项

一种基于Spark计算模型的K‑Means算法优化方法，其特征在于：具体包含如下步骤：步骤1，对数据集进行预处理；步骤2，将预处理后的数据集划分成数据样本集{X1，X2，X3...Xn}；步骤3，为步骤2划分的数据样本集{X1，X2,X3...Xn}配置迭代终止阈值和T1、T2；其中，T1表示Canopy外侧圆的半径，T2表示Canopy内侧圆的半径；步骤4，对数据样本集{X1，X2，X3...Xn}进行Map操作；步骤5，将步骤4的Map结果形成的RDD对象汇总进行Reduce操作：步骤6，取各RDD对象的Reduce结果，按照RDD中Key相同的样本点被分为同一组的原则，输出海量数据下的聚类结果。