[发明专利]一种基于融合编码的摘要文本生成方法

权利要求书

1.一种基于融合编码的摘要文本生成方法，其特征在于，包括以下步骤：

S1：确定输入句子，将句子中每个词进行映射得到词向量；

S2：将句子中每个词经Spacy工具集转换为相应词性特征，通过映射得到词性标注特征；

S3：构建生成式文本摘要模型，将词向量、词性标注特征导入模型中，得到摘要序列；在步骤S3中，所述的生成式文本摘要模型包括词嵌入层、融合模块、选择层和解码器；其中：

所述词嵌入层用于融合词向量、词性标注特征，得到融合模块的350维融合输入，其中，词向量设定为300维，词性标注特征设定为50维；

所述融合模块包括局部编码层、全局编码层和融合层；

其中，所述局部编码层由双向门控循环单位GRU组成，通过双向GRU获取融合输入信息的上下文局部表征H，其维度为300×m，m维输入句子的总词数；

所述全局编码层由多头自注意力层组成，通过6个线性变换将300维的上下文局部表征H映射维6个50维的子表征Q_i，其中i＝1,2,...,6，再使用放缩点积注意力计算每个子表征的长期依赖特征，最后通过矩阵拼接融合所有子表征的全局信息，得到上下文全局表征G，其维度为300×m；

所述融合层用于将上下文局部表征H与上下文全局表征G直接相加，获得融合编码；

所述选择层通过神经网络的sigmoid函数筛选融合编码中的重点信息，将重点信息保留突出；

所述解码器通过门控循环单位GRU进行解码，最终得到摘要序列。

2.根据权利要求1所述的一种基于融合编码的摘要文本生成方法，其特征在于：所述词嵌入层通过矩阵拼接的方式融合词向量、词性标注特征。

3.根据权利要求2所述的一种基于融合编码的摘要文本生成方法，其特征在于：所述放缩点积注意力Attention计算公式具体为：

其中，为子表征的维度，为50，其中i＝1，2，...，6，为子表征的序号。

4.根据权利要求2所述的一种基于融合编码的摘要文本生成方法，其特征在于：所述选择层通过神经网络的sigmoid函数筛选融合编码中的重点信息K，其具体计算公式为：

K＝σ(W_kG+b_k)*G；

其中，W_k和b_k是选择层的参数，在模型训练时优化更新，σ为sigmoid函数，*为哈达玛乘积。

5.根据权利要求4所述的一种基于融合编码的摘要文本生成方法，其特征在于：所述解码器通过门控循环单位GRU进行解码，其具体计算公式为：

s_t＝GRU(y_t-1，c_t-1，s_t-1)；

其中，y_t-1是上一个解码得到的摘要词的词向量，c_t-1是上一个解码状态中的注意力表征，s_t-1是上一个解码状态中的GRU状态，注意力表征c_t的具体计算公式如下：

其中：

其中：

其中，为模型参数的转置矩阵，W_a，U_a均为模型参数，在训练过程中优化更新，k_i为重要信息K矩阵的第i个向量，s_t-1是上一个解码状态中的GRU状态；由此，注意力表征能够学习到上一个解码状态中的GRU状态与当前第i个编码状态的关联；

通过线性转换将注意力表征c_t、上一个解码得到的摘要词的词向量y_t-1、当前GRU状态s_t进行融合，得到融合解码状态r_t，具体计算公式如下：

r_t＝W_ry_t-1+U_rc_t+V_rs_t；

其中，W_r，U_r，V_r为模型参数，在训练过程中优化更新；

最后对融合解码状态r_t采用归一化指数函数变换，得到当前摘要位置t中出现某个词的概率，取最大概率的词作为该位置的摘要词Y_t，最终得到摘要序列Y₁,Y₂,...,Y_T。