[发明专利]一种基于概念信息和词权重的主题生成方法

权利要求书

1.一种基于概念信息和词权重的主题生成方法，其特征在于，包括步骤：

对于一个文本语料库D，识别出文本语料库中每一篇文档m中的实体；

对于识别出的所有实体，在知识库中检索每个实体的概念信息；

对语料库D中的每一篇文档m进行预处理；

使用DCEP词权重方案对语料库D中的每一篇文档m进行处理，并构建成为新的语料库D′；

所述使用DCEP词权重方案对每一篇文档m的处理的步骤中，包括步骤：

设置超参数n_c，检查文档m中每个概念下的所有实体，将每一篇文档中每个概念下的实体数量与n_c进行比较：

如果一个概念下的实体数量低于n_c，则无需将该概念添加到概念集H_m中；

如果一个概念h_m，i下的实体数量n_m，i存在n_m，i≥n_c，则将该概念添加到概念集H_m中，并将该概念下的实体构成实体集T′_m，i，该篇文档中的其他实体组成实体集T″_m，i；

将文档m复制|H_m|次，构造新的文档副本列表来替换原始文档m，|H_m|表示概念集的大小值；

在每个文档副本m′_i∈m′中，改变每个单词的频率；

如果|H_m|＝0，表示文档m中没有概念下的实体的数量n_m，i≥n_c，则不会复制该文档，改变每个单词的频率；

将DCEP词权重方案处理后得到的文档组成新的语料库D′；

所述在每个文档副本m′_i∈m′中，改变每个单词的频率的步骤中，单词频率具体改变方法为：

其中，表示经过DCEP方案处理后文档副本m′_i中词语w的词频，N_m，i，w表示原始的文档副本m′_i中词语w的词频，/表示原始的文档副本m′_i中词语的最大词频，T_m，i是文档副本m′_i中普通单词的集合；

将新的语料库D′输入到标准的LDA主题模型中，生成主题。

2.根据权利要求1所述的方法，其特征在于，所述预处理包括分词、词形还原、去除停用词以及去除出现文档数过少的词语。

3.根据权利要求1所述的方法，其特征在于，所述|H_m|＝0时，则不会复制该文档，改变每个单词的频率的步骤中，单词频率改变方法具体为：将文档中每种实体的词频加上文档的最大词频，计算公式如下：

其中，和N_m，w分别是经过DCEP方案和未经过DCEP方案处理的文档m中词语w的词频，T′_m代表文档m中的实体集，T_m代表文档m中的普通单词集合。/