[发明专利]一种基于大数据的聚类方法

摘要

本发明公开了一种基于大数据的聚类方法，包括以下步骤：对新闻D进行分词得到新闻S；判断新闻S是否为第一篇新闻，若是，基于新闻S建立新的类别，若不是，对新闻S建立VSM向量模型，计算新闻S与聚类中心所有类别的相似度；找出与新闻S具有最大相似度的类别C，若新闻S与类别C的相似度大于预设阈值，则将新闻S归类到类别C中，若小于预设阈值，则基于新闻S建立新的类别；计算新闻S与类别C中其他新闻的相似度平均值M1，计算类别C中其他新闻与聚类中心其他新闻的相似度平均值M2，若M1大于M2，则更新新闻S为新聚类中心，否则聚类中心不变；判断当前新闻是否处理完毕，若是，通过预设算法计算新闻热度，提取热点新闻，否则继续下一篇处理。

主权项

一种基于大数据的聚类方法，其特征在于，包括以下步骤：S1.对新闻D进行分词得到新闻S；S2.判断所述新闻S是否为第一篇新闻，若是，执行S5，若不是则执行S3；S3.对所述新闻S建立VSM向量模型，计算所述新闻S与聚类中心所有类别的相似度；S4.找出与所述新闻S具有最大相似度的类别C，若所述新闻S与所述类别C的相似度大于预设阈值，则将所述新闻S归类到所述类别C中，若小于预设阈值，则执行S5；S5.基于所述新闻S建立新的类别；S6.计算所述新闻S与所述类别C中其他新闻的相似度平均值M1，计算所述类别C中其他新闻与聚类中心其他新闻的相似度平均值M2，若M1大于M2，则更新所述新闻S为新聚类中心，否则聚类中心不变；S7.判断当前新闻是否处理完毕，若是，执行S8，否则执行S1；S8.通过预设算法计算新闻热度，提取热点新闻。