[发明专利]一种基于低秩分解的精细主题挖掘方法

说明书

技术领域

本发明属于文本处理与挖掘技术领域，尤其涉及一种基于低秩分解的精细主题挖掘方法。

背景技术

挖掘文本集中的隐含主题是文本挖掘领域的重要研究内容之一。近年来以隐含狄利克雷分配(LDA)为代表的主题模型得到了广泛应用。这些模型将高维稀疏的词频矩阵表示转化为低维的语义空间表示，即主题空间表示，从而起到降维的作用。这在文本建模，文本分类和信息提取等应用中有着广泛的应用。

现实语料库根据内容可划分为经济、政治、娱乐、健康等主题。然而，在实际应用中，需要对每个主题根据不同的角度，如立场、情感、视角、具体事件等进一步划分为更精细的子主题。针对这些因素进行改进的模型包括层级主题模型(hierarchical topic model)、SWB模型(special word background model)、主题情感混合模型(topic sentiment mixture model)等。层级主题模型引入嵌套中国餐馆过程(nested Chinese restaurant process)来学习主题间的层级关系，从而对主题进行细分。SWB模型分三个途径产生文档中的词：一是标准的LDA模型，二是针对于该文本集的背景词分布，三是针对于该特定文档的特殊词分布。SWB模型中的关键词(特殊词途径)的划分需要一定的先验知识来决定关键词和低秩词的比例，在先验知识较少的情况下效果不好。主题情感混合模型对文档主题和情感趋向混合建模。该模型存在的问题是它假设所有文档的主题分布是相同的。

这些改进模型只能对主题的一个特定角度进行刻画，例如只考虑情感因素，或者只考虑立场，而没有一个通用的模型来对不同的角度统一进行刻画。此外，上述模型都存在维度诅咒的问题。互联网上文本集的大小通常都在千万级甚至亿级，模型复杂度的一个微小的提升都会被放大，造成海量文本应用时庞大的时间消耗。上述模型为了更精细地刻画除了主题之外的其他维度，在模型里引入了新的隐含变量，这不可避免地增加了模型计算的复杂度，所需时间也因此增加。因此，已有的模型工具无法解决通用性和实时性的问题。

发明内容

本发明提供了一种基于低秩分解的精细主题挖掘方法，旨在解决传统主题模型只能挖掘文本的主题背景，无法对文本的侧重点进行精细描述的问题。

本发明的目的在于提供一种基于低秩分解的精细主题挖掘方法，该基于低秩分解的精细主题挖掘方法包括：

步骤一，对原始语料文本进行分词及去停词处理；

步骤二，对预处理得到的词频矩阵生成主题矩阵；

步骤三，分解主题矩阵，将原始语料文本分解为主题背景及关键词。

进一步，在步骤一中，对于中文语料，采用由吕震宇开发的中科院计算所分词系统的C#版对原始语料进行分词处理；

在步骤一中，采用停用词表法滤除文档中的无意义词。

进一步，在步骤二中，对预处理得到的词频矩阵生成主题矩阵时，首先对预处理得到的词频矩阵采用LDA模型训练，采用吉布斯采样法(Gibbs Sampling)推导模型的隐含变量，利用得到的数据，生成可分解为低秩矩阵和稀疏矩阵特性的主题矩阵。

进一步，主题矩阵的具体产生步骤如下：

应用LDA模型对文本集进行训练得到文本集的主题分布θ和主题的单词分布β；

统计文档中单词被分配给每个主题的次数，与主题阈值T(θ)进行比较，将大于阈值的主题标签分配给每个文档，一个文档可以有多个主题标签；

T(θi)=Σd=1DNdiD---(4)]]>

其中，T(θ_i)表示第i个主题的主题阈值，N_di表示第d个文档中属于第i个主题的单词数，D表示文档数；