[发明专利]一种基于融合编码的摘要文本生成方法

说明书

本发明提供一种基于融合编码的摘要文本生成方法，包括以下步骤：确定输入句子，将句子中每个词进行映射得到词向量；将句子中每个词经Spacy工具集转换为相应词性特征，通过映射得到词性标注特征；构建生成式文本摘要模型，将词向量、词性标注特征导入模型中，得到摘要序列。本发明提供的一种基于融合编码的摘要文本生成方法，通过生成式文本摘要模型，融合词向量和词性标注特征作为模型输入，有效提升了模型性能；同时将局部信息与全局信息进行融合编码，有利于模型的梯度传递，保证了句子的长期依赖。

技术领域

本发明涉及自然语言处理领域，更具体的，涉及一种基于融合编码的摘要文本生成方法。

背景技术

在知识爆炸的新时代，提升生成式自动文本摘要模型的性能具有重大意义，随着深度学习的发展以及注意力机制的提出，基于注意力机制的神经网络开始在生成式文本摘要方面得到广泛的应用。一般神经网络模型都由两部分组成：编码器与解码器，编码器使用卷积神经网络或循环神经网络产生具有上下文语义信息的文本表征，如果引入了选择机制，则将该文本表征再通过一层由神经网络的sigmoid函数控制的门，通过门筛选出重点信息；解码器根据编码信息以及当前生成的摘要词汇计算出注意力分数，通过分数用归一化指数函数再词库中计算出下一个摘要词汇的分数，最后输出最高分数对应的摘要词汇，直到生成终止符则停止解码。

传统的基于统计或规则的模型，通常需要人为制定大量规则，费时费力，且模型输出精度低，难以拟合数据。近年来的神经网络模型虽取得了长足的发展，但在编码方面仍然存在缺点，卷积神经网络的编码器只能捕捉句子的局部特征，使句子的位置信息严重缺失，捕获性能低；而循环神经网络的编码器虽能够有效捕捉句子的位置信息，但容易出现梯度消失问题，难以捕捉句子的长期依赖信息。

发明内容

本发明为克服上述现有技术在捕获文本摘要信息的时候存在捕获性能低，容易出现梯度消失问题，难以捕捉句子的长期依赖信息的技术问题，提供一种基于融合编码的摘要文本生成方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于融合编码的摘要文本生成方法，包括以下步骤：

S1：确定输入句子，将句子中每个词进行映射得到词向量；

S2：将句子中每个词经Spacy工具集转换为相应词性特征，通过映射得到词性标注特征；

S3：构建生成式文本摘要模型，将词向量、词性标注特征导入模型中，得到摘要序列。

其中，在步骤S3中，所述的生成式文本摘要模型包括词嵌入层、融合模块、选择层和解码器；其中：

所述词嵌入层用于融合词向量、词性标注特征，得到融合模块的350维融合输入，其中，词向量设定为300维，词性标注特征设定为50维；

所述融合模块包括局部编码层、全局编码层和融合层；

其中，所述局部编码层由双向门控循环单位GRU组成，通过双向GRU获取融合输入信息的上下文局部表征H，其维度为300×m，m维输入句子的总词数；

所述全局编码层由多头自注意力层组成，通过6个线性变换将300维的上下文局部表征H映射维6个50维的子表征Q_i，其中i＝1,2,...,6，再使用放缩点积注意力计算每个子表征的长期依赖特征，最后通过矩阵拼接融合所有子表征的全局信息，得到上下文全局表征G，其维度为300×m；

所述融合层用于将上下文局部表征H与上下文全局表征G直接相加，获得融合编码；

所述选择层通过神经网络的sigmoid函数筛选融合编码中的重点信息，将重点信息保留突出；

所述解码器通过门控循环单位GRU进行解码，最终得到摘要序列。