[发明专利]一种融合多元语义的文本摘要自动生成方法及装置

权利要求书

1.一种融合多元语义的文本摘要自动生成方法，其特征在于，包含以下步骤：

步骤1，基于序列到序列模型，结合自然语言处理的多元语义特性，在源文本输入到编码器之前融合多元语义特征，使源文本包含更多的语义信息；

步骤2，将融合多元语义特征后的源文本输入到编码器中的双向长短期记忆网络中，并得到融入多元语义特征的文本中各个词向量对应的隐藏层状态；

步骤3，解码器采用单向长短期记忆网络结合改进的注意力机制、通过上下文向量以及当前时刻的解码器隐藏层状态来预测下一时刻生成的词向量；

步骤4，利用损失函数对该模型进行训练，通过训练后的模型将文本自动生成摘要。

2.根据权利要求1所述的融合多元语义的文本摘要自动生成方法，其特征在于，所述步骤1的融合多元语义特征包括两次语义信息提取和两次向量拼接，具体过程为：

设置卷积神经网络的两个卷积层的卷积核数量与词向量大小k相同，将第一个卷积层的每个卷积核的大小设置为3，将第二个卷积层的每个卷积核的大小设置为5；

源文本输入第一个卷积层，第一个卷积层输出k个语义向量，并将该k个语义向量进行第一次拼接；

拼接后的语义向量作为新的特征矩阵输入到第二个卷积层，第二个卷积层再次输出k个语义向量，并将新的k个语义向量进行第二次拼接，最后将其输入到编码器。

3.根据权利要求1所述的融合多元语义的文本摘要自动生成方法，其特征在于，所述步骤2中隐藏层状态表示为：

其中，h_i由前向隐藏层状态和后向隐藏层状态拼接成，和的生成公式为：

其中，x_i表示输入的第i个词向量，i∈[1，m]，m表示输入的源文本词向量个数。

4.根据权利要求3所述的融合多元语义的文本摘要自动生成方法，其特征在于，所述步骤3具体包含以下步骤：

步骤3.1，通过单向长短期记忆网络计算t时刻解码器隐藏层状态s_t；

步骤3.2，通过改进的注意力机制和t时刻编码器的隐藏层状态生成用于t时刻解码的上下文向量C_t；

步骤3.3，通过上下文向量C_t和t时刻解码器隐藏层状态s_t对词汇进行预测。

5.根据权利要求4所述的融合多元语义的文本摘要自动生成方法，其特征在于，所述步骤3.1中t时刻解码器隐藏层状态s_t的计算公式为：

s_t＝LSTM(s_t-1，y_t-1)

其中，s_t-1为上一时刻隐藏层状态，当进行模型训练时，y_t-1是训练集中参考摘要词汇的词向量，当用训练好的模型进行预测时，y_t-1是上一时刻经过预测得出的词向量；将编码器隐藏层最后一个编码输出结果h_m初始化解码器的初始时刻的隐藏层状态s₀，将源文本的结束向量赋值给解码器的初始输入序列y₀；t∈[1，n]，n为生成摘要的设置长度。

6.根据权利要求5所述的融合多元语义的文本摘要自动生成方法，其特征在于，所述步骤3.2中t时刻的上下文向量C_t利用编码器隐藏层状态h_i和解码器在t时刻的隐藏层状态s_t生成，计算公式如下：

其中，将非饱和激活函数LeakyReLU引入注意力机制来优化模型，LeakyReLU的公式为：

LeakyReLU＝max(θx，x)

其中，θ为函数的参数，θ∈(-∞，1)；

其中，v，W_h，W_s，b_attn均是可学习的参数，exp(·)表示指数函数，表示解码器t时刻的隐藏层状态s_t和编码器的隐藏层状态的相似度，α^t表示源词汇的概率分布，i∈[1，m]，t∈[1，n]。