[发明专利]一种基于低秩分解的精细主题挖掘方法

权利要求书

1.一种基于低秩分解的精细主题挖掘方法，其特征在于，该基于低秩分解的精细主题挖掘方法包括：

步骤一，对原始语料文本进行分词及去停词处理；

步骤二，对预处理得到的词频矩阵生成主题矩阵；

步骤三，分解主题矩阵，将原始语料文本分解为主题背景及关键词。

2.如权利要求1所述的基于低秩分解的精细主题挖掘方法，其特征在于，在步骤一中，对于中文语料，采用计算所分词系统的C#版对原始语料进行分词处理；

在步骤一中，采用停用词表法滤除文档中的无意义词。

3.如权利要求1所述的基于低秩分解的精细主题挖掘方法，其特征在于，在步骤二中，对预处理得到的词频矩阵生成主题矩阵时，首先对预处理得到的词频矩阵采用LDA模型训练，采用吉布斯采样法推导模型的隐含变量，利用得到的数据，生成分解为低秩矩阵和稀疏矩阵特性的主题矩阵。

4.如权利要求2所述的基于低秩分解的精细主题挖掘方法，其特征在于，主题矩阵的具体产生步骤如下：

应用LDA模型对文本集进行训练得到文本集的主题分布θ和主题的单词分布β；

统计文档中单词被分配给每个主题的次数，与主题阈值T(θ)进行比较，将大于阈值的主题标签分配给每个文档，一个文档有多个主题标签；

T(θi)=Σd=1DNdiD---(1)]]>

其中，T(θ_i)表示第i个主题的主题阈值，N_di表示第d个文档中属于第i个主题的单词数，D表示文档数；

根据主题的单词分布β，在文本集词典中选取大于词典阈值T(β)的单词子集作为主题词典；

T(βi)=max(λΣv=1VNviV,2)---(2)]]>

T(β_i)表示第i个主题的词典阈值，N_vi表示第v个单词属于第i个主题的次数，V表示单词总数，λ取5，且保证T(β_i)不小于2；

根据主题标签和主题词典，对每一个主题生成该主题的主题矩阵，根据语料库的大小调节主题阈值T(θ)和词典阈值T(β)的值，使产生的主题矩阵符合低秩部分与稀疏部分的和的特性。