[发明专利]一种基于舆情平台的抽样分布式聚类方法

权利要求书

1.一种基于舆情平台的抽样分布式聚类方法，其特征在于：包括如下步骤：

一、获取待聚类数据，并对所述待聚类数据进行分片处理，得到多个分片；

二、利用MapReduce中的Map函数对每一所述分片进行数据抽样；

三、将得到的抽样数据汇总，并在MapReduce框架的Reduce过程中对汇总的所述抽样数据进行聚类；

四、依次重复步骤二和步骤三合计进行r轮数据抽样，将每一轮的抽样数据的聚类结果记作基聚类，并得到Π＝{π1,π2,…,πr}的向量，其中，r为大于等于2的正整数，πi为第i轮的基聚类，1≤i≤r，且为正整数；

五、再次使用MapReduce框架将所述基聚类集成为最终的聚类结果。

2.根据权利要求1所述的基于舆情平台的抽样分布式聚类方法，其特征在于：在步骤一中，对所述待聚类数据进行水平分割，并在分割过程中保证每条数据的完整性，且将分割得到的所述分片存储在分布式文件系统中。

3.根据权利要求1所述的基于舆情平台的抽样分布式聚类方法，其特征在于：所述步骤二中进行数据抽样至少满足的要求包括：抽样技术本身足够简单、抽样基于局部数据进行和抽样结果具有一定的随机性。

4.根据权利要求1所述的基于舆情平台的抽样分布式聚类方法，其特征在于：在步骤三中，将具体的数据抽样轮次作为key，得到的抽样数据作为value，通过shuffle函数汇聚到MapReduce的一个Reduce函数中，在所述Reduce函数中对抽样数据进行聚类。

5.根据权利要求1所述的基于舆情平台的抽样分布式聚类方法，其特征在于：在步骤五中包括如下步骤：

随机选择一定数量的所述基聚类作为质心，并用Map函数计算其他所述基聚类与所述质心间的距离，每一所述基聚类被指派到与其距离最近的所述质心所在的类簇中，并在Reduce函数中更新类簇的质心；

重复这一过程直到所述类簇的质心不再改变。

6.根据权利要求5所述的基于舆情平台的抽样分布式聚类方法，其特征在于：设定z_k表示基聚类向量Π中第k个类簇的质心，描述为rk维向量：

$z_k=(z_k^1,...,z_k^i,...z_k^r),$

其中，