[发明专利]一种基于序列化证据抽取的推理阅读理解方法及系统

说明书

本发明涉及一种基于序列化证据抽取的推理阅读理解方法及系统。该方法训练基于序列化证据抽取的阅读理解模型，该模型包括编码层、推理交互层、证据预测层、答案预测层；利用训练完成的基于序列化证据抽取的阅读理解模型，输入上下文文本和问题文本，输出答案的类型、答案文本以及相关证据句子的集合。本发明通过GRU与注意力机制根据问题句子来序列化抽取证据文档中的句子作为证据句子的预测结果，将证据句子之间的相关关系考虑进去，逐步推理得到相关证据，同时覆盖问题中的重要信息。本发明从原来的独立预测每个证据句子变为序列化抽取证据句子，从而建模证据之间的相关性认证，从而提高了网络的安全可靠性。

技术领域

本发明属于信息技术领域，具体涉及一种基于序列化证据抽取的推理阅读理解方法及系统。

背景技术

图神经网络的概念第一次在论文“Lecun Y,Bottou L.Gradient-based learningapplied to document recognition[J].Proceedings of the IEEE,1998,86(11):P.2278-2324”中提出，该论文将现存的神经网络模型扩展到处理图领域的数据。在一个图结构中，每一个节点由它自身的特征以及与其相连的节点特征来定义该节点。GNN的目标是学习得到一个状态的嵌入向量(embedding)，这个向量包含每个节点的邻居节点的信息。图注意力网络(Petar,Cucurull G,Casanova A,et al.Graph AttentionNetworks[J].2017)(GAT)是一种基于空间的图卷积网络，它的注意机制是在聚合特征信息时，将注意机制用于确定节点邻域的权重。

基于图神经网络模型的已有方法直接采用多层感知机独立预测证据句子，缺乏相关证据关联建模。多个证据句子的选择，希望可以共同覆盖必要的相关信息来回答问题，因此证据句子的选择之间并非一个独立的过程，具有一定的相关性从而共同得出问题的答案。由于推理过程本身的关联性与有序性，推理句子选择本身也是有序的。然而，Nishida等人(Nishida K,Nishida K,Nagata M,et al.Answering while Summarizing:Multi-taskLearning for Multi-hop QA with Evidence Extraction[J].Proceedings of the 57thConference of the Association for Computational Linguistics,ACL 2019，2335-2345)提出了QFE模型，将证据句子的抽取过程建模成一个迭代推理的过程，每一步都选择一个相关的证据句子，同时，迭代更新一个状态向量，用于下一步的推理，整个模型基于原来的答案预测模型采用了多任务学习的方式进行训练。在预测相关证据句子时，对所有句子单独进行分类，预测每个句子是相关证据的概率，并没有考虑到选择证据句子之间的相关性与时序性。

发明内容

本发明的目的在于提供一种基于序列化证据抽取的推理阅读理解方法及系统。从人类寻找证据的推理过程来看，首先推理句子本身之间具有一定的关联性，推理过程始终围绕问题和已经获得的相关信息进行，可以用序列化的过程来建模这个推理的链式结构。本发明通过GRU与注意力机制根据问题句子来序列化抽取证据文档中的句子作为证据句子的预测结果，这个过程不同于此前的独立预测证据句子的过程。通过这个序列化抽取证据句子的过程，将证据句子之间的相关关系考虑进去，逐步推理得到相关证据，同时覆盖问题中的重要信息。本发明在抽取句子的过程中引入迭代更新问题表示的方式来计算问题注意力。

本发明采用的技术方案如下：

一种基于序列化证据抽取的推理阅读理解方法，包括以下步骤：