[发明专利]一种基于主题模型的文本关键词提取方法

摘要

本发明公开了一种基于主题模型的文本关键词提取方法，该方法首先利用主题模型的方法从大量文本训练集中由主题模型训练得到的词项与主题之间的训练文本集的词项与主题的概率矩阵WT，进而得到候选关键词集合A中词项与主题的概率向量的集合所组成的候选的关键词的词项与主题的概率矩阵B、候选关键词集合对应的候选关键词词频权重向量D，通过候选关键词词项的权重向量和文本的主题向量，利用候选关键词语主题的概率矩阵B进行循环计算操作，得到最终修正后的文本主题向量和词项权重比例向量，进而提取出文本的关键词。该方法降低文本由于不同长度所提取关键词的误差，提取更能适合表达文本内容的关键词。

主权项

1.一种基于主题模型的文本关键词提取方法，其特征在于，具体步骤如下：(1)、利用主题模型的方法，从大量文本训练集中获取词项与主题之间的概率矩阵，该矩阵记为训练文本集的词项与主题的概率矩阵；(2)、对一个文本进行分词和去除停用词的预处理操作，得到相应的候选关键词集合A，然后根据候选关键词集合中的关键词，取出上述训练文本集的词项与主题的概率矩阵中候选关键词对应的一行，生成候选关键词集合对应的词项与主题之间的关系的词项与主题的概率矩阵；(3)、对候选关键词集合A中的元素按照词项与主题的概率矩阵中行的元素顺序，设置一个与候选关键词集合A中的元素对应的候选关键词向量；(4)、按照步骤(3)所述的候选关键词向量中候选关键词顺序，统计候选关键词在文本中的词频，得到的词频再经下列式(a)计算，得到与候选关键词向量对应的候选关键词词频权重向量，其表达式为：，  (a)其中，为第i个候选关键词在文本中的词频，i为候选关键词顺序编号；(5)、设置一个与词项与主题的概率矩阵中的列号对应的文本的主题向量，该主题向量中元素的初始值为步骤(2)词项与主题的概率矩阵中对应列号上元素值之和，其表达式为：，，其中，为词项与主题的概率矩阵中的第i行第j列的元素，为词项与主题的概率矩阵的行数，为词项概率矩阵的列数；(6)、利用词项与主题的概率矩阵、候选关键词向量和文本的主题向量进行循环计算，得到候选关键词对应的主题权重向量；(7)、将候选关键词对应的主题权重向量中的元素值乘上候选关键词词频权重向量中对应的元素值，得到修正后的候选关键词主题权重向量，其计算表达式为：其中，为修正后的候选关键词主题权重向量中的第i个元素，为向量中的第i个元素，为向量中的第i个元素，根据修正后的候选关键词主题权重向量中元素值的大小和设定的所需提取的关键词的个数k，对候选关键词集合A中的关键词进行排序，提取出其中最大的前k个元素值对应的k个候选关键词，由k个候选关键词组成文本的关键词集合。