[发明专利]一种句法关系增强的机器阅读理解多跳推理模型及方法

说明书

本发明涉及深度学习、自然语言处理等领域，具体涉及一种句法关系增强的机器阅读理解多跳推理模型及方法，模型包括文本编码模块，关联要素关系图构造模块，多跳推理模块，答案生成模块和答案预测模块。本发明将句法关系融入到图构建过程中，构建了关联要素关系图，并基于该关系图利用图注意力网络进行多跳推理，挖掘答案支撑句；同时引入多头自注意力机制进一步挖掘文章中观点型问题的文字线索，改进了观点型问题的自动解答方法；最后，本发明将多个任务进行联合优化学习，使得模型在回答问题的同时，可以给出支撑答案的事实描述，提高模型的可解释性，同时改进了现有观点型问题的解答方法。

技术领域

本发明涉及深度学习、自然语言处理等领域，具体涉及一种句法关系增强的机器阅读理解多跳推理模型及方法。

背景技术

机器阅读理解(Machine Reading Comprehension，MRC)是通过计算机理解文章语义并回答相关问题的一项重要研究任务，机器阅读理解的研究对提升机器的自然语言理解能力具有重要促进作用，已受到学术界和工业界的广泛关注。早期机器阅读理解研究主要采用基于人工规则库的方法，规则库的建立和维护通常需要耗费大量人力，且难以回答规则以外的问题。近年来，随着机器学习，特别是深度学习的快速发展，机器阅读理解的自动答题效果有了明显提升，在一些特定任务中机器阅读理解模型的回答甚至可以媲美人类水平。

随着BERT等预训练模型的出现，片段抽取式MRC任务的实验结果得到了较大提升，很多模型在SQuAD等数据集上已经超越了人类水平。为了进一步检验模型的推理能力，现有很多MRC数据集加入了观点型问题，包括“是/否类”和“不可回答类”问题。观点型问题的答案往往不在文章中直接出现，一般需要通过多个句子推理得出，因此，对于此类问题，模型需要识别文章中的观点类文字线索，综合理解阅读材料后给出观点，并且若根据材料语义无法作答，模型应该将该问题判定为不可回答。

人类在回答阅读理解问题时，不仅可以给出问题答案，而且也可以给出支撑答案的依据，然而现有大多数MRC模型仅可以给出问题的答案，无法给出支撑该答案的答案依据，得到的答案通常缺乏可解释性。为提高MRC模型的可解释性，多跳推理近几年已成为MRC任务中的研究热点，它要求模型在多个文档中寻找线索并推理出答案和答案依据，相关研究人员针对该任务开展了大量深入研究。CogQA建立了一种认知图谱问答模型，它设计了两个系统来维护一张认知图谱，系统一遍历文档，抽取与问题相关的实体来扩展认知图谱，系统二利用图注意力网络在构建的认知图谱上进行推理，并回答问题；SAE设计了一个筛选模块来过滤文档中与问题无关的句子，并将片段抽取与多跳推理两个任务进行联合优化，在多跳推理任务中利用文档句子之间的关系构造关系图，并利用图神经网路在关系图上进行推理。

MRC任务的文章中往往蕴含着丰富的依存句法关系，这些句法关系可以很好的指导模型进行多跳推理，挖掘答案依据，然而大多数多跳推理模型没有考虑这些句法关系，得到的答案依据还不是太准确；同时现有观点型问题的答题方法在答案线索识别上表现还不是太好。

发明内容

针对上述问题本发明提供了一种句法关系增强的机器阅读理解多跳推理方法，本发明将句法关系融入到图构建过程中，构建了关联要素关系图，并基于该关系图利用图注意力网络进行多跳推理，挖掘答案支撑句；同时引入多头自注意力机制进一步挖掘文章中观点型问题的文字线索，改进了观点型问题的自动解答方法；最后，本发明将多个任务进行联合优化学习，在观点型问题解答、片段抽取型问题解答和多跳推理任务中取得了更好的效果。使得模型在回答问题的同时，可以同时给出支撑答案的事实描述，提高模型的可解释性，同时改进了现有观点型问题的解答方法。

为了达到上述目的，本发明采用了下列技术方案：

本发明提供一种句法关系增强的机器阅读理解多跳推理模型，包括文本编码模块、关联要素关系图构建模块、问题解答模块和答案预测模块，其中问题解答模块包括答案生成模块和多跳推理模块。

进一步，所述文本编码模块是对问题和文章进行编码，得到问题和文章的语义化向量化表示；