[发明专利]一种基于词共现网络的主题建模方法

说明书

本发明公开了一种基于词共现网络的主题建模方法，包括步骤：根据给定的语料库或者文本集合构建词共现网络；根据得到的词共现网络构造出一个新的文档集合；将得到的新的文档集合输入到一个标准主题模型LDA的Gibbs sampling算法中，得到新文档集合对应的文档‑主题矩阵和主题‑词矩阵。本发明不需要依赖任何的外部知识，避免了收集额外知识的精力，仅仅是利用数据集本身包含的信息去改善主题模型的结果。

技术领域

本发明涉及自然语言处理技术和文本挖掘技术领域，尤其涉及一种基于词共现网络的主题建模方法。

背景技术

如何在大量的文本中获取到自己所需的信息是在文本挖掘中的一个重要问题。特别是现在互联网的快速发展使得网上拥有着大量的短文本，如微博、在线评论等。这些文本的特点是数量巨大、文本长度小且带有一定的噪音。面对大量的文本，如果人工去逐一判断辨别每篇文档包含的内容，将是耗时费力的一项工作，如何利用计算机辅助人类去更好地去吸收存在于大量文本中包含的信息呢？主题模型为我们提供了一种解决思路。主题模型是一种发掘文本中隐含的结构信息的有效方法，自从被提出来以后大量地运用在信息检索、文档相似度判断、语义消歧、文档摘要等自然语言处理领域中。主题模型依赖于文档级别的词共现信息发现主题，在长文本中工作良好，但是应用到短文本上的效果就急剧下降，原因在于短文本无法提供足够的上下文信息，使得词与词之间的共现信息比较稀疏，降低了主题模型的效果。

近年来有很多研究是关于改善主题模型在短文本上的性能表现的。大体分为三个类别：一是将多个短文本合并成一个长文本，再运行主题模型算法。如在微博这一类的数据中，可以根据发表微博的用户、时间、地点或者标签等信息将多个短文本合并。这种做法的缺陷是并不是所有数据都会有相应的信息，即使有，也会比较少，如某些用户仅仅发表一条微博，最终缓解短文本的稀疏性问题的能力有限；二是利用外部知识去迫使原来没有共同出现过或者共同出现次数较少但是语义相近的两个词分配到同一个主题的概率变高，如利用WordNet知识库抽取出词的同义词集，将这些同义词集的信息编码到模型中，改善模型的效果；这种方法的缺点是需要找到合适的外部知识库抽取需要的词与词之间的关系信息；第三类则是直接根据数据集本身的特性改变模型的假设，如有人提出直接对词与词之间的共现进行建模，提出了BTM模型，该模型将原来的数据集转换成一个由biterm组成的集合，biterm是文档中不同的两个词组成的集合，每个biterm中的词共享一个主题，并假设每个短文本只有一个主题。该方法的缺陷是短文本仅有一个主题的假设太强，且没有区分一个biterm中两个词对主题的重要性程度。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于词共现网络的主题建模方法。

本发明的目的能够通过以下技术方案实现：

一种基于词共现网络的主题建模方法，包括步骤：

根据给定的语料库或者文本集合构建词共现网络；

根据得到的词共现网络构造出一个新的文档集合，文档集合中的每篇文档由词共现网络中的某个节点对应的一个邻域内的节点组成；

将得到的新的文档集合输入到一个标准主题模型LDA的Gibbs sampling算法中，得到新文档集合对应的文档-主题矩阵和主题-词矩阵。

本发明相较于现有技术，具有以下的有益效果：

1、本发明在运行主题模型算法之前构建一个词共现网络，根据词共现网络对原始文档集合的结构进行重新组织，达到增强语料库中词与词之间的共现信息的作用，并根据主题模型LDA的Gibbs sampling算法对新构造出来的文档集合进行主题发掘，得到文档集合的隐藏结构信息。本发明不需要依赖额外的外部知识，不需要启发式地将多个短文本合并成一个长文本，对于任意的数据集都适用，仅仅是利用数据集本身包含的信息去改善主题模型LDA的结果，避免了收集额外知识的精力。

附图说明