[发明专利]基于答案采样的机器阅读理解模型训练方法及装置

摘要

本申请提供了一种基于答案采样的机器阅读理解模型训练方法及装置，具体的，在进行机器阅读理解模型训练时，首先利用极大似然估计函数对目标机器阅读理解模型进行训练，得到基础机器阅读理解模型，然后，再利用最小风险训练损失函数，继续对上述基础机器阅读理解模型进行训练，以实现基础机器阅读理解模型参数的微调整，对模型继续进行优化。由于本实例采用最最小风险训练损失函数对利用极大似然估计函数训练出的基础模型进行优化，因此，所训练出来的模型抽取答案可以更准确。另外，本实施例在利用最小风险训练损失函数进行损失计算时，是针对从模型输出答案中进行k‑top动态采样得到的答案进行损失计算，进而可以减少数据处理量。

主权项

1.一种基于答案采样的机器阅读理解模型训练方法，其特征在于，包括：选取预设数目的样本，作为训练集；将所述训练集中的样本数据输入机器阅读理解模型中，得到所述机器阅读理解模型输出的训练集中各问题对应的答案，其中，包括答案的开始和结束位置、以及位于所述开始和结束位置的概率；以最小化极大似然估计损失函数为目标，调整所述机器阅读理解模型的参数，得到基础机器阅读理解模型；将所述训练集中的样本数据输入所述基础机器阅读理解模型中，得到所述基础机器阅读理解模型输出的训练集中各问题对应的答案；以最小化最小风险训练损失函数为目标，调整所述基础机器阅读理解模型的参数；其中，所述最小风险训练损失函数R(θ)的计算公式为：其中，x⁽ⁿ⁾为所述训练集中的问题，y为所述机器阅读理解模型输出的答案，P(y|x⁽ⁿ⁾；θ)为当模型参数为θ时、所述机器阅读理解模型输出的答案概率值，Y(x⁽ⁿ⁾)为对应x⁽ⁿ⁾的所述机器阅读理解模型所有可能输出答案的集合，S(x⁽ⁿ⁾)为通过k‑top方式从Y(x⁽ⁿ⁾)进行动态的采样得到的答案的集合，β为控制概率分布的超参数，Δ(y,y⁽ⁿ⁾)为所述机器阅读理解模型输出的答案与标准答案y⁽ⁿ⁾之间的差异程度。