[发明专利]基于文本的关键词提取方法和计算机设备

说明书

本申请公开了一种基于文本的关键词提取方法和计算机设备，属于人工智能技术领域，用于高效的挖掘文本中的关键词。该方法采用了Seq2seq网络结构。该网络结构包括编码器和解码器以及具有注意力机制的神经网络模块对编码器的输出结果进行调整。该方法中将整个文本作为输入，使得神经网络能够了解文本的上下文信息。由于无需提取特征向量，免去了TextRank中从文本中抽象出特征的麻烦。由于无需主观的进行特征抽象，故此实现相对简单，关键词的提取在长文本和短文本中均适用，效果也比较稳定。此外，该方法输出的是向量而不是关键词，具有很好的泛化能力。进一步外，通过引入注意力机制，能够使得关键词挖掘更为准确。

技术领域

本申请涉及人工智能技术领域，特别涉及一种基于文本的关键词提取方法和计算机设备。

背景技术

为了便于理解和检索，通常用一些关键词来表达文本的含义。由于不同词语表达语义的能力不同，故此不同词语对文本主旨的体现程度也不同。如何提取能够表达文本主旨的关键词是自然语言处理领域一个重要课题。同时关键词的提取，也广泛应用在内容推荐，语义搜索等领域。

相关技术中用于刻画词语重要程度的指标有TF-IDF(term frequency–inversedocument frequency，词频)，textRank(自动文摘算法)、分类等方法。其中，TF-IDF，基于对文档频率加权计算来统计词语对文本的重要性；textRank通过词汇的上下文关联统计计算词语的重要性；分类算法将对文本关键词的挖掘转化成分类问题，通过特征提取、Seq2seq神经网络训练、Seq2seq神经网络预测将文本的词语分为关键词和非关键词。然而上述方法都有各自的一些缺点，在实际应用中表现不尽人意。

发明内容

本申请实施例提供一种基于文本的关键词提取方法和计算机设备，用于智能的较为准确的提取关键。

一方面，提供一种基于文本的关键词提取方法，所述方法包括：

构造待分析文本的矩阵，该矩阵中包括按序排列的分词的词向量，其中，排列顺序为词向量在所述待分析文本中的顺序；

将待分析文本的矩阵输入给预训练的Seq2seq(sequence to sequence，序列-序列)神经网络，得到输出矩阵，所述输出矩阵中包括至少一个输出向量；其中，所述Seq2seq神经网络是根据标注有关键词的语料训练得到的，且训练时，所述Seq2seq神经网络的输入时训练文本的矩阵，输出是训练文本对应的关键词构成的矩阵；其中关键词构成的矩阵中每个向量与关键词对应；

根据输出向量和关键词的对应关系，确定所述待分析文本的关键词。

可选的，所述Seq2seq神经网络中包括编码器、解码器和带有注意力机制的神经网络模块，所述编码器和解码器均为循环神经网络，所述带有注意力机制的神经网络模块用于调整所述编码器针对每个词向量的编码结果。

可选的，将待分析文本的矩阵输入给预训练的Seq2seq神经网络，得到输出矩阵，包括：

将所述待分析文本的矩阵中的词向量按照在所述待分析文本的顺序，依次输入给所述编码器获得每个输入的词向量的状态；

将所述编码器的当前输入词向量以及所述当前输入词向量的上一词向量的状态输入给所述带有注意力机制的神经网络模块，得到所述上一词向量的权重参数；

将所述上一词向量的权重参数和所述上一词向量的状态相乘，得到调整后的所述上一词向量的状态；

将调整后的各词向量的状态依序输入给所述解码器，得到所述输出矩阵。

可选的，所述带有注意力机制的神经网络模块包括依次串联的全连接层、随机失活层和归一化层softmax；

所述全连接层用于处理输入的所述编码器的当前输入词向量以及所述当前输入词向量的上一词向量的状态；