[发明专利]一种基于迭代式筛选和预训练增强的机器阅读理解方法

权利要求书

1.一种基于迭代式筛选和预训练增强的机器阅读理解方法，其特征在于，包括以下步骤：

步骤1，使用HotpotQA数据集训练相关文档模型，以是否为支撑文档作为标签并采用等比采样策略获取训练正负样本；

步骤2，使用预训练模型微调分类网络并以问题和候选文档拼接的方式对文档相关性进行判别，得到单步相关文档筛选器；

步骤3，使用HotpotQA数据集中未被单步相关文档筛选器标记的相关文档作为正样本，并采样得到样本均衡的正负样本；

步骤4，训练一个新的预训练模型分类网络，以问题、单步相关文档和候选文档的方式对文档相关性进行判别，得到多步相关文档筛选器；

步骤5，使用单步抽取式阅读理解数据集SQuAD作为增强数据进行阅读器训练，得到一个预训练增强的阅读器；

步骤6，使用步骤2中得到的单步相关文档筛选器和步骤4中得到的多步相关文档筛选器从HotpotQA数据集中得到预测的候选文档，然后与问题拼接得到多步阅读理解训练样本；

步骤7，使用步骤5中得到的阅读器在多步阅读理解训练样本上进行答案抽取和支撑句判别多任务学习，提升阅读器模型效率及效果。

2.根据权利要求1所述的一种基于迭代式筛选和预训练增强的机器阅读理解方法，其特征在于，步骤1包括：

根据给定的数据集，将包含支撑句的文档标记为支撑文档，不包含支撑句的文档标记为无关文档；该数据集为两步推理问答任务，原始正负样本比例为4:1，该分布不利于模型的训练，即存在样本不平衡问题，将负样本随机丢弃3/4得到样本均衡的训练样本。

3.根据权利要求2所述的一种基于迭代式筛选和预训练增强的机器阅读理解方法，其特征在于，步骤2包括：

步骤2-1，将问题文档进行向量表征，训练过程中，将问题文档的最大长度设置为512，然后将问题文档对输入基于生成判别网络训练的预训练模型ELECTRA-large中进行编码，得到问题文档编码维度为[12,512,1024]的向量表征，其中12为小批量训练批量处理大小，512为设置的训练数据最大长度，1024为单个词的表征维度；

步骤2-2，使用[CLS]+question+[SEP]+document+[SEP]方式，其中[CLS]为句对表征的开始标识，question表示问题，[SEP]为问题和文档之间的分隔符或结束标识，document为文档内容；对输入的问题文档进行拼接，然后计算每个候选文档d和问题q的相关性P(d|q),训练过程损失函数计算过程如下：

其中，q_i为数据集中的第i个问题，d_ij为第i个问题的第j个候选文档，l_ij为问题文档对(q_i,d_ij)的标签，N为问题的数量，M为候选文档的数量；

步骤2-3，对于给定问题，根据极大相关概率值得到单步相关文档p_i1,计算过程为p_i1＝argmax_jP(d_ij|q_i)。

4.根据权利要求3所述的一种基于迭代式筛选和预训练增强的机器阅读理解方法，其特征在于，步骤3包括：

将步骤2中得到的单步相关文档筛选器对单步相关问题进行筛选，从HotpotQA数集选择非单步相关文档的相关文档作为正样本，将正负样本采样到1:1得到训练多步相关文档所需的训练样本。