[发明专利]一种基于大数据的聚类方法

权利要求书

1.一种基于大数据的聚类方法，其特征在于，包括以下步骤：

S1.对新闻D进行分词得到新闻S；

S2.判断所述新闻S是否为第一篇新闻，若是，执行S5，若不是则执行S3；

S3.对所述新闻S建立VSM向量空间模型，计算所述新闻S与聚类中心所有类别的相似度；将所述新闻S设置为一个由n维特征组成的向量，所述VSM向量空间模型中每一个特征均为一个词；提取所述新闻S的特征词ti，通过预设算法得到S＝{ω1,ω2,…,ωn}，

其中ωi为特征词ti的权重；

ωi计算公式如下：

其中，nti为出现词ti的新闻报道数，N为语料库中的总新闻数，tf(ti,D)为特征词ti在新闻S中出现的频率；

相似度具体计算过程如下：

其中，di表示新文档的特征向量；dj表示某个话题的第j个种子话题的特征向量，其中，ω+λ＝1，T(di,dj)为衰减函数，cosθ为余弦相似度；

S4.找出与所述新闻S具有最大相似度的类别C，若所述新闻S与所述类别C的相似度大于预设阈值，则将所述新闻S归类到所述类别C中，若小于预设阈值，则执行S5；

S5.基于所述新闻S建立新的类别；

S6.计算所述新闻S与所述类别C中其他新闻的相似度平均值M1，计算所述类别C中其他新闻与聚类中心其他新闻的相似度平均值M2，若M1大于M2，则更新所述新闻S为新聚类中心，否则聚类中心不变；

S7.判断当前新闻是否处理完毕，若是，执行S8，否则执行S1；

S8.通过预设算法计算新闻热度，提取热点新闻；

新闻热度具体算法为：

其中，n为该话题的新闻报道的数量，d为新闻初始得分，取值为1，t为当前时刻，单位为分钟，ti为新闻到达的时间，p为取一个新闻的有效期，α为话题冷却因子

α的计算公式为：

其中，tf_topic为当前话题的报道数，t_all为所有话题的新闻的报道总数，tuc_check为参与该话题的用户数，st_check为参与所有话题的用户数。