[发明专利]结合GPU-DMM与文本特征的短文本关键词提取方法

权利要求书

1.一种结合GPU-DMM与文本特征的短文本关键词提取方法，其特征在于：

①对获取的短文本语料数据集进行预处理；

②抽取预处理短文本的词性序列搭配并判断是否满足词性序列条件，首先判断短文本中是否存在多个名词连接构成的词性序列搭配，根据语料人工标注结果认定当一个短文本是由多个名词连接构成时，当关键词权重与所处位置成反比关系时，输出关键词序列，否则，实施步骤③；

③基于TF-IDF算法和词语长度计算关键词的TF-IDF权重；

其中，W_t^TFIDF表示词t的TF-IDF权重值，LEN(t)表示词t的长度，n_t表示词t在语料数据集中出现的次数，V表示语料数据集中词语的总数，表示语料数据集中所有词语的出现次数之和，D表示语料数据集中所有短文本的总数；

④使用GPU-DMM模型对短文本语料数据集主题建模，并抽取出主题—词矩阵，根据主题—词矩阵计算关键词的主题权重；

⑤根据TF-IDF权重和主题权重加权叠加得到加权关键词权重，并按照权重排序结果输出关键词序列。

2.按权利要求1所述的方法，其特征在于所述的步骤①：

所述的预处理包括分词、词性标注、过滤掉非中文字符和停用词。

3.按权利要求1所述的方法，其特征在于所述的步骤④：

在使用GPU-DMM模型抽取短文本语料数据集主题时，对于每篇短文本，每次循环迭代的过程中都需要采样出一个主题，其条件概率受到其他短文本的主题标签影响，如公式(2)所示：

其中，z_d表示短文本d的主题，-d表示相关变量去除掉短文本d及其所包含的所有词语，m_k表示主题为k的短文本数量，α和β表示预先指定的狄利克雷分布的先验参数，K表示主题总数，表示词t在短文本d中出现的次数，表示在词语t在主题k罐子中出现的次数；

如公式(3)所示，主题—词矩阵通过点估计进行近似计算：

其中，表示词t分配至主题k的概率，设短文本d的主题为k，则其中词t的主题权重值W_t^TOPIC为

4.按权利要求1所述的方法，其特征在于所述的步骤⑤：

如公式(4)所示，在计算得出词t的TF-IDF权重和主题权重之后，词t的加权关键词权重W_t由TF-IDF权重和主题权重加权叠加计算：

W_t＝λ×W_t^TFIDF+(1-λ)×W_t^TOPIC    (4)

其中λ是权重平衡参数；

最后，根据短文本中所有词的加权关键词权重从高到低依次输出关键词序列。