[发明专利]融合实体和句子推理信息的问题答案提取方法及电子装置

说明书

本发明提供一种融合实体和句子推理信息的问题答案提取方法及电子装置，包括：将一问题与若干目标文档拼接，输入预训练语言模型，得到问题表示Q与文档上下文表示C；获取融合文档信息的问题表示Q⁰与融合问题信息的文档表示C⁰；依据问题表示Q^(t‑1)与文档表示C^t‑1，获取实体图节点集合E^(t‑1)与句子图节点集合并采用图注意力网络对实体图与句子图更新，获取问题表示Q^(t)与文档表示C^t；对实体图节点集合E^(t)与句子图节点集合融合并与文档表示C^t交互；依据推理更新后上下文表示C′^(t)，获取问题答案预测结果。本发明提出引入句子节点的图神经网络，通过门机制将实体表示与句子表示融合，利用句子级别推理信息弥补实体推理信息的缺失，提升推理阅读理解任务的性能。

技术领域

本发明属于自然语言处理领域，尤其涉及一种融合实体和句子推理信息的问题答案提取方法及电子装置。

背景技术

推理阅读理解是给定用户一个问题的多个相关文档，从文档中找到问题的答案和相关的证据句子。推理阅读理解问题需要模型结合问题，对文本语义上的含义进行推理，找到问题的相关证据句子和最终答案。推理阅读模型整体上可以分为三大类方法。一类是记忆网络的方法，通过不断迭代更新推理状态来模拟推理过程；另一类是基于图神经网络的方法，通过图神经网络的更新来进行推理；还有一些其他的基于深度学习的方法。其中，基于图神经网络的推理阅读理解模型的框架整体可以分为三个部分：1)语义编码阶段；2)推理建模阶段；3)证据和答案预测阶段。语义编码阶段将问题、文档编码成具有上下文语义信息的文本向量；推理建模阶段使用图神经网络技术对推理过程进行建模，建立问题和文档之间的联系；答案预测阶段从得到文本表示中进行相关证据句子和答案片段的预测。针对一些候选段落较多的数据，还需要进行段落选择，段落选择阶段将从候选段落中选择相关段落，用作后续语义编码的输入。

基于记忆网络的方法比较典型的有Dynamic Co-attention Network(CaimingXiong,Victor Zhong,Richard Socher；Dynamic Coattention Networks For QuestionAnswering.ICLR,2017)，该方法将模型分为编码和解码两部分。一方面，编码阶段使用了Co-attention机制将问题和文档进行编码，得到问题相关的文档表示；另一方面，在解码阶段，利用答案预测的结果进行迭代，每轮都会根据当前状态值去预测答案，根据答案预测结果更新当轮状态值，不断迭代更新，最后一轮的结果作为最终答案。

基于图神经网络的方法比较典型的有DFGN模型(Lin Qiu,Yunxuan Xiao,YanruQu,Hao Zhou,Lei Li,Weinan Zhang,Yong Yu；Dynamically Fused Graph Network forMulti-hop Reasoning.ACL 2019:6140-6150)。DFGN模型首先使用BERT(BidirectionalEncoder Representation from Transformer)对文档独立分类，进行段落选择，语义编码阶段使用BERT得到文档和问题的上下文表示，推理建模阶段采用GAT(Graph AttentionNetworks)的图神经网络实现，使用BiLSTM建模图与上下文表示双向融合的过程，将图推理后得到的节点信息融合到上下文表示中，通过不断迭代这个图推理的过程来完成图信息与文本信息的双向融合，从而预测抽取式答案；此外，DFGN还建模了问题在图构建过程中的作用，采用Bi-Attention更新问题表示，根据问题表示与节点表示的匹配程度构建动态图，同时在迭代过程中不断更新问题表示。