[发明专利]一种针对论坛文本的主题挖掘方法

说明书

一种针对论坛文本的主题挖掘方法，所述方法包括以下步骤：步骤1：爬取论坛的数据，利用文本处理手段找出大概率可能是无意义的回复，并做好标记；步骤2：对论坛文本按照句子切割，之后进行分词，根据词性删除无用的词，去停用词；步骤3：对现有的文本根据BBS‑LDA主题模型使用Gibbs Sampling进行参数估计，最终得到属于每个主题可能性最大的词语。本发明对论坛的这些特点，基于LDA提出一种新的主题模型BBS‑LDA，更有效地挖掘论坛文本中的主题，以提高论坛文本主题挖掘的能力。

技术领域

本发明属于文本挖掘领域，尤其涉及概率主题模型。

背景技术

如今，互联网正飞速地发展，网络已经成了网民接收和传播信息的主要途径。通过网络，每个网民都可以在极短的时间内获取到全国各地最新的事件，并实时地对这些事件发表自己的感想，也可以把自己了解到的事件分享给其他人。通过这些文本信息，可以做很多有意义的事情：政府可以通过微博或者论坛，获取人民最关心的民生问题，并做出合理的改进；股民可以通过挖掘股吧里面的讨论信息，了解到哪只股票最热，哪只股票最被网民看好，并对自己的投资策略做出调整；消费者可以通过查看其他用户对商品的评价来对商品有一个客观的了解，并判断这个商品是否适合自己。

如何从海量文本中提取出有价值的信息一直是一件很有挑战的事情。文本不同于一般的数值型数据，表示和处理起来都复杂很多。空间向量模型(Vector Space Model)把文本中的每个词语一个个映射到向量空间，这使得我们可以通过传统的数值型数据挖掘算法来处理文本，不过面对海量数据，会面临维度灾难。TF-IDF等方法利用了词的词频率信息和逆文档频信息，能够实现快速提取文章的关键字，不过单纯以词频度量词的重要性，不够全面，而且不能够处理同义词的情况。近年来，主题模型在文本挖掘中得到了不错的运用，其中最具有代表性的就是潜在狄利克雷分配(Latent Dirichlet Allocation,LDA)。如今，已经有许多针对不同语料特点改进的LDA模型被用在了情感分析，舆情控制，个性化推荐上。

对于论坛文本，因为其本身具有一些结构化信息，使用原始的LDA模型并不能够最大化地利用文本信息来挖掘主题。其次，论坛里面可能会存在大量的短回复和很多水帖，短回复会造成词的稀疏性，水帖会给主题挖掘带来很多噪音，这些因素都极大地影响了LDA在论坛上的建模效果。

发明内容

为了克服现有文本挖掘方法的无法有效挖掘论坛文本中的主题的不足，本发明针对论坛的结构特点，基于LDA提出一种新的主题模型BBS-LDA，更有效地挖掘论坛文本中的主题。

为了解决上述技术问题，本发明提供如下的技术方案：

一种针对论坛文本的主题挖掘方法，所述方法包括以下步骤：

步骤1：爬取论坛的数据，利用文本处理手段找出大概率可能是无意义的回复，并做好标记；

步骤2：对论坛文本按照句子切割，之后进行分词，根据词性删除无用的词，去停用词；

步骤3：对现有的文本根据BBS-LDA主题模型使用Gibbs Sampling进行参数估计，最终得到属于每个主题可能性最大的词语。

进一步，所述步骤3中，所述BBS-LDA主题模型中，BBS-LDA将同一个帖子中的回复聚集在一起，并把回复切分成句；对于属于同一个帖子的句子，其主题是从同一个主题分布采样而来，且句子中的每个词所属的主题和句子的主题一致；同时，每个句子都有一定的概率被采样为无意义的句子，每个词都有一定的概率被采样为背景词，所述背景词与句子的主题无关，且这些概率与发表该回复的用户有关。

再进一步，所述BBS-LDA主题模型的参数估计过程为：

(3.1)采样第p个帖子中第s个句子所对应的标记变量r_p,s和句子的主题z_p,s公式如下：