[发明专利]一种基于分布式计算平台改进的k均值聚类方法

摘要

本发明公开了一种基于分布式计算平台改进的k均值聚类方法，针对海量数据处理慢的问题引入了分布式计算平台Spark的，针对迭代次数过多的问题，引入卡洛斯卡尔算法，针对没有考虑向量各特征间的相关性，引入谷本距离。首先，通过克洛斯卡尔算法来对随机选取的k个点来构造最小生成树并求出对应的权值和，重复n次，然后按照这n次得到的权值和，从中选取出最大的权值和并且确保由k个点组成的边之间的距离值相差不大，这样可以保证簇心相对均匀分布，最后使用经谷本距离改进后的k均值算法进行聚类运算。

主权项

一种基于分布式计算平台改进的k均值聚类方法，其特征在于：首先，根据克洛斯卡尔算法对随机选取的k个点求出该点集的最小生成树权值和，重复n次，然后根据这n次的权值和选取出权值和最大并保证该点集的各边的权值相差不大，这样可以保证簇心相对均匀分布，最后使用经谷本距离改进后的k均值算法进行聚类运算，其步骤如下：1)从样本中随机选取k个数据向量，对每个数据向量的每一特征进行规范化，使数据向量的每一特征的取值在0～1之间，对选取的k个数据向量，使用克洛斯卡尔算法，求出最小生成树的权值和，重复这个过程n次，记第i次计算得到的最小生成树权值和为d_i，2)求出最小生成树权值和中的最大值MAX(d₁,d₂,...,d_n)对应的由k个数据向量组成的点集；3)倘若求出的点集的各边的权值相差不大时，则将该点集作为初始簇中心的k个初始中心，转步骤4)；否则排除该点集，转步骤2)；4)然后运行基于分布式计算平台Spark改进后的k均值算法；运行过程中根据谷本距离公式计算每个数据向量到k个簇中心的距离，根据计算得到的k个距离值，将数据向量放入到距离最小的这个簇心所对应的蔟中，然后通过每个簇中所有数据向量求平均值来更新蔟中心，此时，计算上一次k个蔟中心与更新后对应的蔟中心之间的欧式距离，得到k个欧氏距离值，倘若k个欧氏距离值都小于规定的误差阈值或达到迭代次数时，转步骤5)，否则继续迭代；5)输出聚类结果。