[发明专利]一种具有新主题偏向性的短文本动态聚类方法

摘要

本发明公开了一种具有新主题偏向性的短文本动态聚类方法，基于GSDMM模型，建立具有新主题偏向性的短文本动态聚类方法模型DDMM，针对短文本数据进行动态聚类分析，计算出聚类个数，并通过模型计算出当前时间片内文本的文档‑主题分布和主题‑词分布，所述的文档‑主题分布和主题‑词分布均可使用矩阵向量表示。本方法可以发现短文数据中潜在的主题信息，并且能够在动态聚类过程中获取到主题个数，同时对于时变的短文本数据，能够实现动态聚类，从而得到文档主题随时间的变化趋势；本方法适用于媒体主题检测和追踪，通过本发明，能够对话题进行实时检测和追踪，并能及时发现新主题的产生。

主权项

1.一种具有新主题偏向性的短文本动态聚类方法，其特征在于，包括如下步骤：步骤1)基于GSDMM模型，建立具有新主题偏向性的短文本动态聚类方法模型DDMM，针对短文本数据进行动态聚类分析，计算出聚类个数，并通过模型计算出当前时间片内文本的文档‑主题分布和主题‑词分布，所述的文档‑主题分布和主题‑词分布均可使用矩阵向量表示；步骤2)获取短文本动态数据的聚类标签，根据上述步骤中得到各时间片中的分布，通过Gibbs采样算法得到每篇文档的主题标签；步骤3)验证模型的有效性，采用归一化互信息‑NMI，作为对比实验中模型聚类效果好坏的评价指标；NMI的定义如下：其中D为文档数量，dh为属于h类的文档数量，cl为属于l类的文档数量，dhl表示属于类h和类l的文档数量；当NMI的值为1时，表示模型聚类效果非常好，与用户标记的类标签一致，NMI值接近0时表示模型随机给文档赋予了一个变量。