[发明专利]一种基于舆情平台的抽样分布式聚类方法

摘要

本发明提供了一种基于舆情平台的抽样分布式聚类方法，并包括如下步骤一、获取待聚类数据，并对待聚类数据进行分片处理，得到多个分片；二、利用MapReduce中的Map函数对每一分片进行数据抽样；三、将得到的抽样数据汇总，并在MapReduce框架的Reduce过程中对汇总的抽样数据进行聚类；四、依次重复步骤二和步骤三合计进行r轮数据抽样，将每一轮的抽样数据的聚类结果记作基聚类，并得到Π＝{π1,π2,…,πr}的向量，其中，r为大于等于2的正整数，πi为第i轮的基聚类，1≤i≤r，且为正整数；五、再次使用MapReduce框架将基聚类集成为最终的聚类结果。所述基于舆情平台的抽样分布式聚类方法能够有效提高海量数据的聚类效率问题和在缩减数据规模的同时提高数据多样性。

主权项

一种基于舆情平台的抽样分布式聚类方法，其特征在于：包括如下步骤：一、获取待聚类数据，并对所述待聚类数据进行分片处理，得到多个分片；二、利用MapReduce中的Map函数对每一所述分片进行数据抽样；三、将得到的抽样数据汇总，并在MapReduce框架的Reduce过程中对汇总的所述抽样数据进行聚类；四、依次重复步骤二和步骤三合计进行r轮数据抽样，将每一轮的抽样数据的聚类结果记作基聚类，并得到Π＝{π1,π2,…,πr}的向量，其中，r为大于等于2的正整数，πi为第i轮的基聚类，1≤i≤r，且为正整数；五、再次使用MapReduce框架将所述基聚类集成为最终的聚类结果。