[发明专利]一种基于大规模主题建模的文档模型扩展方法

说明书

本发明涉及信息检索模型领域，提供一种基于大规模主题建模的文档模型扩展方法，包括以下步骤：利用基于LightLDA的分布式主题建模技术，构建主题数目为十万或百万级别的大规模主题建模，捕获微博文本中丰富的语义信息，特别是长尾语义信息；利用主题模型的信息对文档模型进行语义平滑，构建语义增强的文档语言模型,一定程度上解决微博数据稀疏问题。本发明文档模型扩展方法能够有效解决文档的数据稀疏性问题。

技术领域

本发明涉及信息检索模型领域，尤其是一种基于大规模主题建模的文档模型扩展方法。

背景技术

随着智能手机的全面普及和移动互联网的快速发展，微博已经成为互联网上一种重要的信息发布和分享平台。和传统的新闻等自然语言文本相比，一方面，微博文档非常简短，在微博检索过程中文档的数据稀疏性问题较为严重；另一方面，在简短的微博文档中，大部分词语只出现一次，传统的信息检索模型将难以有效区分相关和不相关文档。数据稀疏问题造成了现有推荐技术中精度不高，效率低下。如何根据微博的特点，设计高效的面向微博的信息检索模型成为学术界和产业界一个具有挑战性的研究课题。

近几年里，已有部分研究者提出了不同的方法来改进短文本的主题模型构建。基于主题模型的文档扩展方法能够在一点程度上解决文档的数据稀疏性问题，实验表明在传统新闻文档集上能够提高信息检索的效果。然而，在已有的基于主题模型的信息检索方法中，主题的数量通常限制在较小的范围。这类主题建模方法将难以捕获互联网文本中极其丰富的语义信息，特别是难以捕获语义信息的长尾部分。

发明内容

本发明的目的就是为了克服上述现有技术的不足，提供一种基于大规模主题建模的文档模型扩展方法，利用大规模主题建模技术挖掘文本中丰富的语义信息并增强文档的表征，解决文档的数据稀疏性问题。

本发明的目的是通过如下技术措施来实现的。

一种基于大规模主题建模的文档模型扩展方法，该方法包括以下步骤：

(1)语料预处理及索引建立

对数据集中的语料进行预处理，包括无用网页标签、无意义符号、网址和邮箱地址的过滤以及对停用词进行去除、对英语单词进行词干化，使用Lucene对预处理后的数据集建立索引，为后期检索模型提供所需要的词项和文档；

(2)主题信息训练

使用微软开源的LightLDA工具对语料文档进行训练获取主题信息，LightLDA训练完毕，获取主题—词项信息文档—主题信息其中为主题z的词语分布，为文档d的主题分布；

(3)构建语义增强的文档模型

(3-1)结合文档的主题分布信息通过以下公式构建文档语言模型

P(w|θ_d)＝γP_LM(w|d)+(1-γ)P_LDA(w|d)

其中，d表示文档，θ_d表示文档d对应的文档语言模型，γ为两个部分的权重系数，γ取0.1或0.2；

(3-2)利用传统的Jelinek-Mercer或Dirichlet背景平滑方法计算P_LM(w|d)，计算方法如下：

其中，λ和μ为控制两个背景平滑部分权重的系数，λ取0.1，u取1500，C表示整个文本集合，n(w，d)和n(w，C)分别为文档d和文档集C中词语w的频次，|d|和|C|分别为文档d和文档集C中所有词语的总数；

(3-3)利用步骤(2)中得到的文档-主题信息和主题—词项信息计算P_LDA(w|d)，方法如下