[发明专利]一种基于概念信息和词权重的主题生成方法

说明书

本发明公开了一种基于概念信息和词权重的主题生成方法，包括步骤：对于一个文本语料库，识别出文本语料库中每一篇文档中的实体；对于识别出的所有实体，在知识库中检索每个实体的概念信息；对语料库中的每一篇文档进行预处理；使用DCEP词权重方案对语料库中的每一篇文档进行处理，并构建成为新的语料库；将新的语料库输入到标准的LDA主题模型中，生成主题。本发明通过为主题模型引入基于概念信息的词权重方案，有利于主题模型生成更加连贯的主题。

技术领域

本发明涉及主题模型的文本聚类领域，尤其涉及一种基于概念信息和词权重的主题生成方法。

背景技术

互联网时代是一个充满数据的时代，随着互联网的快速发展，互联网数据的积累速度日益增加，每时每刻都有无数的数据产生。面对海量的数据，政府或企业需要自动组织、总结、理解大规模数据的技术或工具，从而在大规模数据中提取隐含的知识或者有用的信息。

文本挖掘技术是从海量的非结构化文本数据中挖掘出有用的信息和知识的一门自然语言处理技术，包括文本分类、文本聚类和文本摘要等方法。作为文本挖掘技术中的一种无监督的词聚类统计模型，主题模型，尤其是LDA(Latent Dirichlet Allocation，潜在狄利克雷分配)模型，在大数据文本挖掘领域中起着至关重要的作用。主题模型的主要目标是发现文本中隐含的主题，使人们快速了解大规模文本数据。

主题模型生成的主题由概率最高的一组单词来描述，一个好的主题模型的主要标准是能够产生连贯的主题，即生成的一个主题下的这组词语与单个语义概念相关联，则该主题是连贯的。也就是说，为了产生连贯的主题，主题模型应将具有相同或相似概念的单词分配给同一主题。同时，应将具有不相关概念的单词分配给不同的主题。但是，在当前主题模型中，无意义但频繁出现的单词，例如领域停用词，往往会在主题模型生成的多个与该词不相关的主题中，从而导致相当多的主题不连贯。

近年来，人们将词权重方案应用在主题模型上来减轻无意义且频繁出现的单词对主题连贯性的影响。词权重方案通过为有信息含量的词语赋予较高的权重，同时赋予无意义的词语以较低的权重，从而更改词语在主题中的分布概率，实现更高的主题连贯性。实体是有信息量的单词，在描述新闻、生物学和许多其他领域的事件和事实方面起着至关重要的作用。Krasnashchok等人提出了NEP(Independent Named Entity Promoting，命名实体促进)词权重方案。在NEP方案中，一篇文档中的每种实体的频率增加该篇文档中的最大词频，同时普通单词的频率保持不变，以此增加实体在主题中的概率来使主题模型生成相对连贯的主题，但是NEP方案并不足以促进足够连贯的主题。主题模型倾向于将高频共现的词语分配给同一主题。一个好的主题应该包括与概念相关的实体或单词，但是，NEP方案不会区分属于不同概念的实体，并且会为每个实体增加相同的频率，因此，来自文档中不相关概念的实体可能会属于同一主题，因此主题依然会出现不连贯的情况。

发明内容

本发明的目的在于解决词权重主题模型无法令相似概念的词语分配给相同主题的问题，提供一种基于概念信息和词权重的主题生成方法。本发明提出一种新的词权重方案——DCEP方案，本发明通过将DCEP词权重方案与LDA主题模型相结合，得到新的词权重主题模型DCEP-LDA模型，所述模型能够生成更加连贯的主题。

本发明的目的能够通过以下技术方案实现：

一种基于概念信息和词权重的主题生成方法，包括步骤：

对于一个文本语料库D，识别出文本语料库中每一篇文档m中的实体；

对于识别出的所有实体，在知识库中检索每个实体的概念信息；

对语料库D中的每一篇文档m进行预处理；

使用DCEP词权重方案对语料库D中的每一篇文档m进行处理，并构建成为新的语料库D′；