[发明专利]一种基于大规模主题建模的文档模型扩展方法

摘要

本发明涉及信息检索模型领域，提供一种基于大规模主题建模的文档模型扩展方法，包括以下步骤：利用基于LightLDA的分布式主题建模技术，构建主题数目为十万或百万级别的大规模主题建模，捕获微博文本中丰富的语义信息，特别是长尾语义信息；利用主题模型的信息对文档模型进行语义平滑，构建语义增强的文档语言模型,一定程度上解决微博数据稀疏问题。本发明文档模型扩展方法能够有效解决文档的数据稀疏性问题。

主权项

1.一种基于大规模主题建模的文档模型扩展方法，其特征在于该方法包括以下步骤：(1)语料预处理及索引建立对数据集中的语料进行预处理，包括无用网页标签、无意义符号、网址和邮箱地址的过滤以及对停用词进行去除、对英语单词进行词干化，使用Lucene对预处理后的数据集建立索引，为后期检索模型提供所需要的词项和文档；(2)主题信息训练使用微软开源的LightLDA工具对语料文档进行训练获取主题信息，LightLDA训练完毕，获取主题—词项信息文档—主题信息P(z|φ_d，d)，其中为主题z的词语分布，φ_d为文档d的主题分布；(3)构建语义增强的文档模型(3‑1)结合文档的主题分布信息通过以下公式构建文档语言模型P(w|θd)＝γPLM(w|d)+(1‑γ)PLDA(w|d)其中，d表示文档，θd表示文档d对应的文档语言模型，γ为两个部分的权重系数，γ取0.1或0.2；(3‑2)利用传统的Jelinek‑Mercer或Dirichlet背景平滑方法计算PLM(w|d)，计算方法如下：其中，λ和μ为控制两个背景平滑部分权重的系数，λ取0.1，u取1500，C表示整个文本集合，n(w，d)和n(w，C)分别为文档d和文档集C中词语w的频次，|d|和|C|分别为文档d和文档集C中所有词语的总数；(3‑3)利用步骤(2)中得到的文档‑主题信息和主题—词项信息计算PLDA(w|d)，方法如下其中，为主题z的词语分布，φ_d为文档d的主题分布，表示z主题分布下w词出现的概率、P(z|φ_d，d)表示在文档d中z主题出现的概率。