[发明专利]基于BTM和GloVe相似度线性融合的微博热点话题发现算法

说明书

本发明为一种基于BTM和GloVe相似度线性融合的微博热点话题发现算法，其特征在于由数据采集及预处理、建模、聚类三个阶段，先进行数据采集及预处理，然后将得到的数据进行建模，再将建模后的数据进行聚类；本发明针对K‑means算法的距离函数会影响微博热点话题聚类结果这一问题，提出一种基于BTM和GloVe相似度线性融合的微博热点话题发现算法。GloVe模型仅训练词与词共现矩阵中的非零元素而不是整个稀疏矩阵来利用统计信息，有效地缓解了TF‑IDF算法在构建文档‑词向量矩阵过程中所面临的稀疏性问题。GloVe模型同时结合了全局矩阵分解和局部上下文窗口的方法，训练出的词向量能够携带更多的语义信息，在一定程度上能够缓解BTM主题模型不能较好解决的一词多义问题。

技术领域

本发明涉及自然语言处理中的话题发现与追踪技术领域，尤其涉及基于BTM和GloVe相似度线性融合的微博热点话题发现算法。

背景技术

伴随着传统互联网和移动互联网的快速发展，微博得以蓬勃发展。微博允许用户通过网页、外部程序和手机客户端等发布消息，实现消息共享。微博的短文本性、及时性和交互性等优点受到大众认可，已经逐渐成为了人们获取和发布信息的重要工具。如何从海量的杂乱无章的微博数据中挖掘热点话题已经成为了亟待解决的问题。

为了解决上述问题，现今存在很多方法，主要有“先使用 TF-IDF对微博文本集进行向量表示，然后使用聚类算法发现热点话题的方法”、“先使用LDA、BTM等主题模型向量化文本集，然后使用聚类算法发现热点话题的方法”和“先使用BTM主题模型和改进的TF-IDF算法分别对微博短文本建模，然后使用JS 散度计算基于BTM建模的文本相似度，使用余弦距离计算基于改进的TF-IDF算法的文本相似度，最后将两个相似度进行线性融合并使用K-means聚类获得热点话题的方法”；下面对上述方法进行简单描述：

(1)BTM主题模型

LDA是一种文档主题生成模型，主要用来无监督地识别大规模文档集中的潜在主题。但是传统的主题模型(如LDA、PLSA等) 隐含地捕获文档层的词共现模式来揭示主题，并且在大量短文本集上建模会导致严重的数据稀疏问题，所以传统的主题模型对长文本的适用性较好，不能很好地适用于短文本。因此，晏小辉等人提出了一种适用于短文本的词对主题模型(Biterm Topic Model, BTM)，该模型显式地对词共现模式进行建模来提高主题学习的能力，同时，该模型在整个语料库使用聚合模式来学习主题以解决文档层词共现模式的数据稀疏问题。

在现今的BTM图模型中，α和β为超参数，|B|表示整个语料库包含的词对数，K表示主题个数，θ表示整个语料库的主题分布，表示整个语料库的主题-特征词分布，Z表示主题集合，W_i、W_j表示词对集合中所有构成词对的两个不同的词。

BTM主题模型生成语料库的过程如下：

对每一个主题z，采样主题-特征词分布：φ_z～Dirichlet(β)；

对于整个语料库，采样一个全局的主题分布：θ～Dirichlet(α)；

对于词对集合B中的每一对词对b＝(w_i,w_j)：

从整个语料库的主题分布θ中采样一个主题z：z～Mult(θ)；

从采样到的主题z中随机抽取两个词w_i、w_j组成词对 b＝(w_i,w_j)～Mult(φ_z)。

由语料库的生成过程可知，词对b＝(w_i,w_j)的联合概率分布为：