[发明专利]一种基于大规模主题建模的文档模型扩展方法

权利要求书

1.一种基于大规模主题建模的文档模型扩展方法，其特征在于该方法包括以下步骤：

(1)语料预处理及索引建立

对数据集中的语料进行预处理，包括无用网页标签、无意义符号、网址和邮箱地址的过滤以及对停用词进行去除、对英语单词进行词干化，使用Lucene对预处理后的数据集建立索引，为后期检索模型提供所需要的词项和文档；

(2)主题信息训练

使用微软开源的LightLDA工具对语料文档进行训练获取主题信息，LightLDA训练完毕，获取主题—词项信息文档—主题信息P(z|φ_d，d)，其中为主题z的词语分布，φ_d为文档d的主题分布；

(3)构建语义增强的文档模型

(3-1)结合文档的主题分布信息通过以下公式构建文档语言模型

P(w|θ_d)＝γP_LM(w|d)+(1-γ)P_LDA(w|d)

其中，d表示文档，θ_d表示文档d对应的文档语言模型，γ为两个部分的权重系数，γ取0.1或0.2；

(3-2)利用传统的Jelinek-Mercer或Dirichlet背景平滑方法计算P_LM(w|d)，计算方法如下：

其中，λ和μ为控制两个背景平滑部分权重的系数，λ取0.1，u取1500，C表示整个文本集合，n(w，d)和n(w，C)分别为文档d和文档集C中词语w的频次，|d|和|C|分别为文档d和文档集C中所有词语的总数；

(3-3)利用步骤(2)中得到的文档-主题信息和主题—词项信息计算P_LDA(w|d)，方法如下

其中，为主题z的词语分布，φ_d为文档d的主题分布，表示z主题分布下w词出现的概率、P(z|φ_d，d)表示在文档d中z主题出现的概率。

2.根据权利要求1所述的基于大规模主题建模的文档模型扩展方法，其特征在于使用微软开源的LightLDA工具对语料文档进行训练获取主题信息流程如下：

(2-1)从参数为α的Dirichlet分布中抽样生成文档d_i的主题多项式分布θ_i；

(2-2)从主题的多项式分布θ_i中抽样生成文档d_i中第j个词对应的主题z_i,j；

(2-3)从参数为β的Dirichlet分布中抽样生成主题z_i,j对应的词分布

(2-4)从词的多项式分布中采样最终生成词项w_i,j；

(2-5)重复上述步骤(2-2)、(2-3)、(2-4)生成文档d_i中所有的词项；

其中，α、β是超参数，θ是主题的多项式分布，z代表某一个主题，φ是词的多项式分布，w表示采样生成的词。