[发明专利]文本主题提取方法、装置及存储介质

权利要求书

1.一种文本主题提取方法，应用于电子装置，其特征在于，包括以下步骤：

构建文本主题提取模型；

训练所述文本主题提取模型；

获取文本样本对应的文本词向量；

将所述文本词向量输入经过训练的文本主题提取模型；

输出与所述文本样本相应的文本主题，

其中，构建的所述文本主题提取模型包括卷积神经网络和注意力机制，

所述卷积神经网络包括输入层、卷积层、激活层和全连接层，输入层用于输入文本词向量，卷积层用于对所述文本词向量进行卷积运算，提取文本特征，得到文本特征向量，所述激活层用于对所述文本特征向量进行激活作用；所述卷积神经网络的卷积层包括多个一维卷积核，多个所述卷积核的步长分别为1、3和5，每种步长的卷积核各占卷积核总量的1/3，通过内边距的设置实现卷积层输入和输出维度一致；

所述注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制和所述通道注意力机制并行建立，均与所述激活层连接，通过所述位置注意力机制向所述激活层的输出矩阵施加位置注意力权重，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述位置注意力机制的输出结果；其中，得到所述位置注意力特征矩阵的步骤包括：所述激活层的输出矩阵通过一个全连接隐含层输出第一转化矩阵，将所述第一转化矩阵与所述位置注意力权重矩阵进行矩阵乘法运算，得到位置注意力特征矩阵；得到所述通道注意力特征矩阵的步骤包括：所述激活层的输出矩阵通过另一个全连接隐含层输出第二转化矩阵，将所述第二转化矩阵与所述通道注意力权重矩阵进行矩阵乘法运算，得到通道注意力特征矩阵；

通过所述通道注意力机制向所述激活层的输出矩阵施加通道注意力权重，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果；

将所述位置注意力机制的输出结果和所述通道注意力机制的输出结果均输入所述全连接层，通过所述全连接层输出文本主题。

2.根据权利要求1所述的文本主题提取方法，其特征在于，所述文本主题提取模型还包括多个全连接隐含层，多个全连接隐含层并行设置，且每个全连接隐含层均与所述激活层连接，通过所述全连接隐含层将所述激活层的输出矩阵分别转化为位置注意力权重矩阵和通道注意力权重矩阵。

3.根据权利要求1所述的文本主题提取方法，其特征在于，所述文本主题提取模型还包括嵌入层，所述嵌入层位于所述文本主题提取模型的第一层，通过所述嵌入层将文本样本转化为文本词向量。

4.根据权利要求1所述的文本主题提取方法，其特征在于，获取文本样本对应的文本词向量的步骤包括：

构建词向量模型，并根据语料库对所述词向量模型进行训练；

对所述文本样本进行分词；

将分词后的文本样本输入经过训练的词向量模型；

输出与所述文本样本对应的文本词向量。

5.根据权利要求1至4中任一项所述的文本主题提取方法，其特征在于，训练所述文本主题提取模型的步骤包括：

初始化所述文本主题提取模型的参数，所述参数包括：输入层与卷积层的连接权值、卷积层与激活层的连接权值、激活层和全连接层的连接权值；

构建训练样本集，训练样本包括文本词向量和文本主题；

将所述训练样本集中的一个训练样本输入所述文本主题提取模型中，输出与所述训练样本对应的文本主题；

基于所述文本主题提取模型的损失函数更新所述参数；

根据更新后的参数训练下一个训练样本，并计算所述文本主题提取模型的损失函数值；

判断所述文本主题提取模型的训练是否达到收敛条件，若达到收敛条件，则结束训练，得到训练后的文本主题提取模型，若未达到收敛条件，则更新所述文本主题提取模型的参数，继续训练，其中，所述收敛条件为损失函数值的变化小于预设阈值。