[发明专利]一种基于模糊C均值的分布式集成聚类分析方法

权利要求书

1.一种基于模糊C均值的分布式集成聚类分析方法，其特征在于：在Map-Reduce分布式计算模型下，首先通过对数据的分布进行随机分块，然后提取每块数据的聚类中心，并对每块数据的聚类中心进行集成融合，最后完成大规模数据的聚类分析，所述集成聚类分析方法在分布式框架Map-Reduce下共包含三个层次，其具体的处理步骤如下：

Step1、对数据集X进行随机化排序，Layer1；

Step2、将数据集X分割成个子数据集Layer1；

Step3、提取最终的类簇中心c₁,c₂,...,c_c，Layer 2；

Step4、根据类簇中心将X中的样本划分到不同的类簇X₁,X₂,...,X_c，Layer 3；

所述步骤Step3在Map-Reduce模型下的具体步骤为：

Step3.1、假设数据集X在分布式系统中可被分割成m个子数据集

Step3.2、在第j个Mapper函数中，对数据集X_j应用FCM聚类算法，确定数据集X_j的类簇中心c₁(X_j),c₂(X_j),...,c_c(X_j)，这里类簇个数被设置为数据集X中类别的个数，将Mapper函数的key指定为空，将类簇中心c₁(X_j),c₂(X_j),...,c_c(X_j)作为该Mapper函数的value；

Step3.3、在Reducer函数中，来自Mapper函数中的中心进行聚合形成新的数据集，再次应用FCM算法对新数据集进行类簇中心的确定，最终形成了样本数据X的类簇中心c₁,c₂,...,c_c；

所述步骤Step4在Map-Reduce模型下的具体步骤为：

Step4.1、假设数据集X在分布式系统中可被分割成m个子数据集

Step4.2、在第j个Mapper函数中，对样本x_i∈X_j计算到类簇中心c₁,c₂,...,c_c的距离，将距离最近的类簇中心的下标作为key，将样本x_i作为该Mapper函数的value，按照key的不同，将样本数据输入到不同的类簇集合X₁,X₂,...,X_c中。

2.根据权利要求1所述的基于模糊C均值的分布式集成聚类分析方法，其特征在于所述步骤Step1在Map-Reduce模型下的具体步骤为：

Step1.1、假设数据集X在分布式系统中可被分割成m个子数据集

Step1.2、在第j个Mapper函数中，对每个样本x_i∈X_j随机产生一个随机整数，将随机整数作为该Mapper函数的key，将样本x_i作为该Mapper函数的value；

Step1.3、在Reducer函数中，来自Mapper函数中的样本按照key进行聚合，将聚合后的样本数据依次存入数据集中，最终构成随机化后的样本数据集合。

3.根据权利要求1所述的基于模糊C均值的分布式集成聚类分析方法，其特征在于所述步骤Step2其在Map-Reduce模型下的具体步骤为：

Step2.1、假设数据集X在分布式系统中可被分割成m个子数据集最终数据集X被分割成个子数据集；

Step2.2、在第j个Mapper函数中，对每个样本x_i∈X_j计算的余数，将该余数作为该Mapper函数的key，将样本x_i作为该Mapper函数的value；

Step2.3、在Reducer函数中，对来自Mapper函数中的样本按照key进行聚合，对聚合后的样本依次存入不同的子数据集中，最终构成个样本数据集