[发明专利]一种融合语义场景的摘要自动生成方法及系统

权利要求书

1.一种融合语义场景的摘要自动生成方法，其特征在于，包括以下步骤：

步骤1，在图构建单元使用汉语框架网标注工具抽取文章X中的框架场景其中N^f表示文章中框架的个数，F_i指文章中第i个框架，F_i又由相应的框架元素构成，其中N^fe指框架F_i中的框架元素个数，使用文章中框架及框架元素构建语义场景图G_s，利用文章中框架的目标词和框架元素的填充词构建词关系图G_w；

步骤2，在文章编码单元将文章X＝{w₁,w₂,…,w_i…,w_l}输入预训练模型BERT，获取文章向量表示C^b＝[x₁,x₂,…,x_i…,x_l]，其中，x_i表示文章中第i个词w_i的向量表示，l表示文章的长度；

步骤3，在图编码单元将步骤1得到的词关系图G_w和语义场景图G_s分别输入图编码层，分别得到其对应的向量表示h^w和h^s；

所述词关系图G_w通过编码得到其向量表示h^w的具体过程为：

(1)其中，和分别表示节点和边，N^v和N^e分别代表节点的个数和边的个数，每一个节点都是文章X中的一个文本块，m_v和n_v分别表示文本块的开始和结束位置，平均文本块中每个词的向量表示得到该节点初始化向量

(2)利用基于Gated Graph Neural Network的K层的图编码模块更新所有的节点，得到最终G_w的表示h^w＝h^k，其中，h^k指第k层图编码模块所有节点的隐藏状态，具体更新过程为：

图编码模块的第k层输入是上一层的输出第k层每个节点状态由以下公式更新：

其中，指节点v_i在第k层图编码模块的隐藏状态，R指边的类型集合，N_i是节点v_i的邻居节点，W_r是可学习的参数，是一个激活函数，是注意力权重

其中，exp指以自然常数e为底的指数函数，指节点v_i在第k-1层图编码模块的隐藏状态，指节点v_j在第k-1层图编码模块的隐藏状态；

所述语义场景图G_s通过编码得到其向量表示h^s的具体过程为：通过预训练模型BERT分别编码框架和框架元素的定义得到其节点的初始化向量，利用基于Gated GraphNeuralNetwork的K层的图编码模块更新所有的节点，得到最终语义场景图G_s的向量表示h^s；

步骤4，根据步骤3得到的h^w和h^s，在图交互单元计算h^w对h^s的影响，得到最终的图向量表示h^g；

所述得到最终的图向量表示h^g的过程为：

使用自注意力机制计算h^w对h^s的影响：

h^g＝α·h^w

其中，(h^w)^T是h^w的转置矩阵，d_w是h^w的维度，α是权重向量，h^g是最终的图向量表示；

步骤5，在特征融合单元根据步骤2得到的文章向量表示c^b和步骤4得到的图向量表示h^g，经过特征融合模块，获取最终的文章表示C；

所述获得最终的文章表示C的过程为：

首先，针对文章X中的每一个词w_i，从节点中查找包含w_i的所有节点，表示为其中，N^sel表示包含w_i的节点个数，

然后，将当前w_i的表示x_i拼接上所有包含w_i节点的平均表示，得到最终的文章表示C

步骤6，在解码单元，结合之前得到的文章表示C生成摘要，

所述在解码单元生成摘要的过程为：

构建基于Transformer的解码层，由文章表示C和上一步解码步骤的输出[y₁,y₂,…,y_t-1]计算得到当前解码状态s_t，

由以下公式计算得到下一个词y_t的概率

其中，W和b为可以学习的参数，t为每一个解码步骤。