[发明专利]一种基于迭代式筛选和预训练增强的机器阅读理解方法

说明书

本发明公开了一种基于迭代式筛选和预训练增强的机器阅读理解方法，包括：构建迭代式筛选网络：用HotpotQA数据集的问题和文档对训练初始筛选网络；从包含干扰文档的原始数据中找出与当前最为相关的文档；迭代筛选过程，根据初始网络得到的文档以及原始的问题，从当前文档集中筛选出与初始筛选网络和文档最为相关的支撑文档，得到与问题相关的两步支撑文档。构建阅读器网络：用预训练模型对SQuAD数据就进行微调得到单步阅读理解模型；在多步阅读理解数据集上进行两次联合训练，得到关于问题和文档的答案和支撑事实。本发明无需构建复杂的图神经网络以及对多步问题进行分解，即可实现更好的多步机器阅读理解效果。

技术领域

本发明涉及一种机器阅读理解方法，特别是一种基于迭代式筛选和预训练增强的机器阅读理解方法。

背景技术

近年来，基于大规模无监督数据集的预训练模型迅速发展，极大的提升了多项自然语言处理任务的效果，为自然语言处理的发展提供了充足的源动力。同时，随着互联网的极速发展，资讯以爆炸性的速度增长。百科类、新闻类、生活类、书籍类等电子资讯逐渐成为我们生活中不可缺少的一部分，我们从这些电子资讯中接触世界、认识世界以及了解世界。但是，由于信息的极速增长，快速高效地从繁杂的数据中获取我们想要的资讯变得愈加困难。查询的困难不仅会让我们花费大量的时间，而且可能因为一些错误信息的存在而让我们做出错误的判断。因此，使用自动化的机器阅读理解方法帮助我们自动地从权威性的百科类电子资讯中找到我们想要的问题答案就显得尤为重要。

现有的一些方法主要针对于单步阅读理解问题，即问题可以只依据单篇文档进行解答，但是这些方法难以对类似“曾经在南京大学执教的诺贝尔文学奖得主的主要文学作品”这样的需要多个文档的多步推理类问题进行解答。针对多步推理类问答，目前的主要的方法使用一个文档筛选器，筛选出与当前问题相关的文档，然后训练一个阅读器从相关文档中找到答案与支撑句，但是这种方法忽略了多步问题文档之间的推理属性，无法充分利用单步推理的结果，同时在解决多步推理类问题时，大部分方法直接使用预训练模型进行训练，未在简单的单步阅读理解数据集上进行训练，使得预训练模型无法在机器阅读理解领域的性能得到增强。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于迭代式筛选和预训练增强的机器阅读理解方法。

为了解决上述技术问题，本发明公开了一种基于迭代式筛选和预训练增强的机器阅读理解方法，包括以下步骤：

步骤1，使用HotpotQA数据集(由众包收集的基于维基百科的多步阅读理解数据集)训练相关文档模型，以是否为支撑文档作为标签并采用等比采样策略获取训练正负样本；

步骤2，使用预训练模型微调分类网络并以问题和候选文档拼接的方式对文档相关性进行判别，得到单步相关文档筛选器；

步骤3，使用HotpotQA数据集中未被单步相关文档筛选器标记的相关文档作为正样本，并采样得到样本均衡的正负样本；

步骤4，训练一个新的预训练模型分类网络，以问题、单步相关文档和候选文档的方式对文档相关性进行判别，得到多步相关文档筛选器；

步骤5，使用单步抽取式阅读理解数据集SQuAD(斯坦福大学发布)作为增强数据进行阅读器训练，得到一个预训练增强的阅读器；

步骤6，使用步骤2中得到的单步相关文档筛选器和步骤4中得到的多步相关文档筛选器从HotpotQA数据集中得到预测的候选文档，然后与问题拼接得到多步阅读理解训练样本；

步骤7，使用步骤5中得到的阅读器在多步阅读理解训练样本上进行答案抽取和支撑句判别多任务学习，提升阅读器模型效率及效果。

本发明中，步骤1包括：