[发明专利]基于Seq2seq模型的摘要生成方法

权利要求书

1.一种基于Seq2seq模型的摘要生成方法，其特征在于，包括以下内容：

将待生成摘要的文本转化为词向量序列；

将词向量序列输入经训练的Seq2seq模型得到的输出作为摘要；

对所述Seq2seq模型中的Encoder编码模型进行修改，将LSTM隐层单个细胞节点的输入门和遗忘门结构计算公式改进如下:

其中，I表示输入节点数，H表示输出节点数，C表示隐藏节点数，w_il表示输入门中输入节点i到隐藏节点l的连接权重，表示t时刻第i个节点的输入，γ_b表示输入门中输出节点系数，w_hl表示输入门中输出节点h到隐藏节点l的连接权重，表示t时刻第h个节点的输出，γ_s表示输入门中隐藏节点系数，w_cl表示输入门中隐藏节点c到隐藏节点l的连接权重，表示t时刻第c个节点的状态，表示t时刻输入门的状态，表示t时刻输入门的输出，g(·)表示输入门的激活函数，w_iφ表示遗忘门中输入节点i到隐藏节点φ的连接权重，λ_b表示遗忘门中输出节点系数，w_hφ表示遗忘门中输出节点h到隐藏节点φ的连接权重，λ_s表示遗忘门中隐藏节点系数，w_cφ表示遗忘门中隐藏节点c到隐藏节点φ的连接权重，表示t时刻遗忘门的状态，表示t时刻遗忘门的输出，f(·)表示遗忘门的激活函数，||·||^*表示核范数，max(·)表示最大值函数。

2.根据权利要求1所述的方法，其特征在于，对所述Seq2seq模型中的Encoder编码模型训练过程中用到的损失函数进行如下优化：

①训练过程中每次训练数据输入文本信息和作为输出信息的摘要视为一个整体信息系统，利用输入文本信息的属性信息将整体信息分为不同属性的子系统；

所述整体信息系统是一个三元组S＝〈X,Y,C〉，其中X＝{x₁,x₂,...,x_i,...,x_n}，为训练过程中的输入文本数据，n为输入文本中所含不同属性文本的个数，x_i为整体输入文本中不同属性的子文本每种属性的文本视为一个子系统；Y＝{y₁,y₂,...,y_i,...,y_n}，为训练过程的输出摘要文本，其中y_i与x_i对应，为将整体摘要拆分后，与x_i相对应的输入文本生成的摘要句子数据；C＝{c₁,c₂,...,c_i,...,c_n}是输入数据的条件属性标签，所述子系统为根据输入文本的属性标签拆分得到的，(x_i,y_i|c_i),i＝1,2,...,n，表示第i个子系统；

②根据每个子系统的输入数据属性标签，选取针对于子系统合适的损失函数L₁,L₂,...,L_n；

③利用每个子损失函数的自适应权重SGF(c_i)，将所有子损失函数融合得到总系统的初始损失函数：

L₀＝SGF(c₁)L₁+SGF(c₂)L₂+...+SGF(c_n)L_n

④针对当前训练数据的特性，计算动态惯性权重w(p,q)，用于对初始损失函数进行自适应动态惯性调整；

w(p,q)＝f_g(Δg_pq)·f_s(Δs_pq)

其中，f_g(Δg_pq)和f_s(Δs_pq)分别代表当前训练数据中心数据p与邻域数据q在数值上的权重和空间上的权重；

⑤利用动态惯性权重对初始损失函数进行调整，最终得到多重融合损失函数L＝w(p,q)L₀。