[发明专利]一种具有新主题偏向性的短文本动态聚类方法

说明书

本发明公开了一种具有新主题偏向性的短文本动态聚类方法，基于GSDMM模型，建立具有新主题偏向性的短文本动态聚类方法模型DDMM，针对短文本数据进行动态聚类分析，计算出聚类个数，并通过模型计算出当前时间片内文本的文档‑主题分布和主题‑词分布，所述的文档‑主题分布和主题‑词分布均可使用矩阵向量表示。本方法可以发现短文数据中潜在的主题信息，并且能够在动态聚类过程中获取到主题个数，同时对于时变的短文本数据，能够实现动态聚类，从而得到文档主题随时间的变化趋势；本方法适用于媒体主题检测和追踪，通过本发明，能够对话题进行实时检测和追踪，并能及时发现新主题的产生。

技术领域

本发明属于及数据挖掘与机器学习技术领域，尤其是一种具有新主题偏向性的短文本动态聚类方法。

背景技术

随着社交媒体应用和移动设备的广泛使用，微博、Twitter等社交软件的使用也越来越广泛。通过这些媒体平台人们能够方便地进行新闻消息的收集和传播，这些消息通常以短文本的形式呈现。因此面向短文本数据的动态聚类已然成为文本挖掘领域的研究热点。通过文本动态聚类分析，人们可以挖掘出某短时间的新闻热门事件、学术研究热点和热门搜索等。

然而面向短文本的动态聚类仍面临着许多问题。第一个问题是如何解决因短文本长度受限而导致的数据稀疏问题。由于文本内容较少而不足以获取到每篇文章的主题分布。第二个问题是怎样对短文本数据中的文本-主题分布和主题-词分布进行建模，使其能够随时间而改变。通常情况下文本语料库的聚类个数会随时间而发生改变，而相邻的时间片之间的聚类会存在很强的关联性，这种关联性也会随时间而改变。最后一个问题是如何自动获取聚类个数。在随时间变化的文本数据中，随时间的改变，会有新主题的产生同时已有主题出现消亡，因此聚类个数会随时间而发生改变。

为解决上述问题，本发明提出了DDMM模型，模型在GSDMM模型的基础上考虑了短文本数据的动态聚类场景，将其扩展到多个时间窗口。GSDMM在短文本聚类效果表现良好，因此可以将其应用到短文本动态聚类中，并且GSDMM在聚类过程中能够自动获取聚类个数。但由于模型使用了马尔科夫假设，使得当前时间窗内的主题会依赖于前一时间窗内的主题，因此当前时间的主题的产生会倾向于已有的主题，从而使得新主题产生的概率较低，DDMM模型在每个时间窗的Dirichlet先验中引入了折扣参数用于调节主题产生概率，提高新主题产生的概率。

发明内容

本发明所要解决的技术问题是提供一种具有新主题偏向性的短文本动态聚类方法，它能够对短文本数据进行有效的动态聚类分析，并且能够自动获取到各动态聚类过程中各时间窗内的聚类个数，同时通过调节已有历史主题传递性的强弱，从而提高聚类效果。

本发明是这样实现的：具有新主题偏向性的短文本动态聚类方法，其特征在于，包括如下步骤：

步骤1)基于GSDMM模型，建立具有新主题偏向性的短文本动态聚类方法模型DDMM，针对短文本数据进行动态聚类分析，计算出聚类个数，并通过模型计算出当前时间片内文本的文档-主题分布和主题-词分布，所述的文档-主题分布和主题-词分布均可使用矩阵向量表示；

步骤2)获取短文本动态数据的聚类标签，根据上述步骤中得到各时间片中的分布，通过Gibbs采样算法得到每篇文档的主题标签；

步骤3)验证模型的有效性，采用归一化互信息-NMI，作为对比实验中模型聚类效果好坏的评价指标；NMI的定义如下：

其中D为文档数量，d_h为属于h类的文档数量，c_l为属于l类的文档数量，d_hl表示属于类h和类l的文档数量；当NMI的值为1时，表示模型聚类效果非常好，与用户标记的类标签一致，NMI值接近0时表示模型随机给文档赋予了一个变量。