[发明专利]基于NSS‑AKmeans和MapReduce处理大数据的K‑Means聚类方法

权利要求书

1.基于NSS-AKmeans和MapReduce处理大数据的K-Means聚类方法，其特征在于，包括以下步骤：

(1)在第一个MapReduce作业中，对数值型数据集进行预处理，包括数据的清洗，归一化，重排；

(2)将第一个MapReduce作业输出的数据输入第二个MapReduce作业中，在第二个MapReduce作业中，对输入的数据集的每个分片采样得到数据量的子集，利用NSS-AKmeans算法对每个子集进行聚类分析，得到每个子集的簇中心，之后对这些簇中心进行分析合并得到初始簇中心；

(3)在第三个MapReduce作业中，在已有的初始簇中心的基础上，利用标准的K-Means算法在MapReduce上的并行化对数据集完成聚类分析。

2.根据权利要求1所述的基于NSS-AKmeans和MapReduce处理大数据的K-Means聚类方法，其特征在于，步骤(1)中，对数据集进行随机重排，使得每个数据条目随机分布。

3.根据权利要求1所述的基于NSS-AKmeans和MapReduce处理大数据的K-Means聚类方法，其特征在于，步骤(2)中，在第二个MapReduce作业中，对输入的数据集的每个分片采样得到数据量在5000～10000之间的子集。

4.根据权利要求3所述的基于NSS-AKmeans和MapReduce处理大数据的K-Means聚类方法，其特征在于，步骤(2)中，具体实现方法如下：

1)对每个子集利用NSS-AKmeans算法进行聚类，得到每个子集的簇数量和簇中心，假设(n₁，n₂，…，n_n)为各个子集的簇数量，K为其中的众数，将K设定为数据集的簇数量；将子集簇数量不等于K的结果删除，之后得到的子集聚类结果如下：

2)利用得到的子集的簇中心，计算得到数据集的初始簇中心，如下：

pi=1nΣj=1npji,i=1,2,...,K.]]> 1