[发明专利]一种子话题挖掘方法

权利要求书

1.一种子话题挖掘方法，包括下列步骤：

1)对语料库中每篇文档的每个词语的主题值进行初始化，其中，主题值的取值范围是K+1种取值组成的集合，其中1种取值对应于背景模块，其余K种取值分别对应于所要细分的K个子话题；

2)基于当前的各篇文档的各个词语的主题值，对于每篇文章中的每个词语，分别计算该词语来自各个子话题的概率以及计算该词语来自背景模块的概率，然后基于所计算出的概率，利用吉布斯采样算法重新为每篇文章中的每个词语分配主题值；其中，词语来自背景模块的概率根据预先统计的背景模块中的词语分布向量计算，所述背景模块中的词语分布向量在迭代过程中始终恒定；

3)重复执行步骤2)，直至满足停止迭代的条件，停止迭代后根据当前的各篇文档的各个词语的主题值得出子话题。

2.根据权利要求1所述的子话题挖掘方法，其特征在于，所述步骤2)包括下列子步骤：

21)选取一篇文档；

22)从当前文档中选取一个词语；

23)对于当前词语，基于去除这个词语自身的主题信息后的其它词语的当前主题值赋值信息，计算该词语来自各个主题的概率；所述主题包括K各子话题和1个背景模块；

24)依据所计算出的概率进行吉布斯采样，依据采样结果给当前词语重新分配主题值，然后返回步骤22)，处理下一个词语，直至当前文档处理完毕；

25)如果当前文档处理完毕，则返回步骤21)，开始处理下一篇文档，直至所有文档处理完毕。

3.根据权利要求2所述的子话题挖掘方法，其特征在于，所述步骤23)中，当前词语属于各个子话题的概率值按照下述公式计算：

当前词语属于背景模块的概率值按照下述公式计算：

其中，z_i代表当前词语的主题值，k代表子话题的主题值，b代表背景模块的主题值，下标i表示当前词语的编号，表示除编号为i的词语外的其它词语组成的主题值向量，代表词语组成的向量，代表文档m中除了i以外的其它词语组成的集合中，主题为k的词语的总个数，代表语料库中除了i以外的其它词语组成的集合中，主题为k的词语t的总个数，α代表主题超参数，β代表主题词语分布的超参数，φ_t代表背景模块的词语分布向量中词语t对应的概率，λ代表背景模块与主题模块的权重调节因子，V表示从语料库统计得到的词频向量列表的维数。

4.根据权利要求1所述的子话题挖掘方法，其特征在于，所述步骤3)中，所述停止迭代的条件是迭代次数达到预设的数值。

5.根据权利要求1所述的子话题挖掘方法，其特征在于，所述步骤2)和步骤3)之间还执行步骤：

30)根据语料库中各个词语当前的主题值，在排除掉属于背景模块的词语后，计算主题-词语分布矩阵；

所述步骤3)中，所述停止迭代的条件是：对比当前主题-词语分布矩阵和上一轮迭代计算出的主题-词语分布矩阵，如果变化量小于预设的阈值，则认为满足停止迭代的条件，否则认为不满足停止迭代的条件。

6.根据权利要求5所述的子话题挖掘方法，其特征在于，所述步骤3)中，当满足停止迭代的条件时，输出当前的主题-词语分布矩阵，根据这个矩阵获得K个子话题及其对应的关键词。

7.根据权利要求1所述的子话题挖掘方法，其特征在于，所述步骤1)中，所述初始化是：对于每篇文档的每个词语，在对应于K个子话题和1个背景模块的K+1个选项中，以掷骰子的方式为其分配主题值。

8.根据权利要求1所述的子话题挖掘方法，其特征在于，所述步骤2)中，所述背景模块中的词语分布向量通过统计全局语料库的各个词语的出现次数得出。

9.根据权利要求5所述的子话题挖掘方法，其特征在于，所述步骤30)中，对于任一词语，当该词语属于背景模块的概率超过预设的阈值时，认定该词语属于背景模块，在计算主题-词语分布矩阵时排除掉该词语。