[发明专利]基于答案采样的机器阅读理解模型训练方法及装置

说明书

本申请提供了一种基于答案采样的机器阅读理解模型训练方法及装置，具体的，在进行机器阅读理解模型训练时，首先利用极大似然估计函数对目标机器阅读理解模型进行训练，得到基础机器阅读理解模型，然后，再利用最小风险训练损失函数，继续对上述基础机器阅读理解模型进行训练，以实现基础机器阅读理解模型参数的微调整，对模型继续进行优化。由于本实例采用最最小风险训练损失函数对利用极大似然估计函数训练出的基础模型进行优化，因此，所训练出来的模型抽取答案可以更准确。另外，本实施例在利用最小风险训练损失函数进行损失计算时，是针对从模型输出答案中进行k‑top动态采样得到的答案进行损失计算，进而可以减少数据处理量。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种基于答案采样的机器阅读理解模型训练方法及装置。

背景技术

目前，深度学习在图像识别、语音识别等领域取得丰硕成果，机器阅读理解(Machine Reading Comprehension，MRC)成为了人工智能研究与应用领域的新热点，其主要功能是阅读和理解给定的文章或上下文，自动给出相关的问题的答案。

随着机器阅读理解技术的发展，阅读理解的任务也在不断升级，从早期的“完形填空形式”，发展到基于维基百科的“单文档阅读理解”，如以斯坦福SQuAD(StanfordQuestion Answering Dataset，斯坦福问答数据集)为数据集的任务。并进一步升级至基于web(网页)数据的“多文档阅读理解”，这一形式的典型代表是以微软MS-MARCO(MicrosoftMAchine Reading Comprehension，微软机器阅读理解)、百度DuReader为数据集的任务。近年来，随着阅读理解任务不断变化与发展，研究人员已经设计出多种深度学习模型，其中，有一类模型的输出为针对问题所对应的答案在文档中的的开始位置和结束位置。

目前，针对上述类型的机器阅读理解的训练方法通常是监督学习任务。所谓监督学习，是指训练样本不仅包含输入，同时包含对应标准答案输出。监督学习的惯用训练准则是极大似然估计(MLE,Maximum Likelihood Estimation)，其基本思想是一个好的模型应该尽可能使得观测到的训练样本概率最大。但是，在后续评价模型好坏时，不同用户往往有不同的侧重点和需求，因而产生了多种多样的评价方式,例如,采用BLEU(BilingualEvaluation Understudy，双语评价)评价系统、ROUGE(Recall-Oriented Understand ForGisting Evalution，面向研究的提升评价辅助研究)评价系统、基于rough集的评价系统等。因此，上述使用似然函数，尽可能使观测到的训练样本概率最大作为训练阶段的目标的方式，会存在与测试阶段所使用评价指标不一致的问题。

发明内容

本发明实施例提供了一种基于答案采样的机器阅读理解模型训练方法及装置，以使训练出来的模型抽取答案更准确，尽可能贴近用户需求。

根据本发明实施例的第一方面，提供了一种基于答案采样的机器阅读理解模型训练方法，该方法包括：

选取预设数目的样本，作为训练集；

将所述训练集中的样本数据输入机器阅读理解模型中，得到所述机器阅读理解模型输出的训练集中各问题对应的答案，其中，包括答案的开始和结束位置、以及位于所述开始和结束位置的概率；

以最小化极大似然估计损失函数为目标，调整所述机器阅读理解模型的参数，得到基础机器阅读理解模型；

将所述训练集中的样本数据输入所述基础机器阅读理解模型中，得到所述基础机器阅读理解模型输出的训练集中各问题对应的答案；

以最小化最小风险训练损失函数为目标，调整所述基础机器阅读理解模型的参数。

其中，所述最小风险训练损失函数R(θ)的计算公式为：