[发明专利]一种机器阅读理解模型的分阶段训练方法及装置

权利要求书

1.一种机器阅读理解模型的分阶段训练方法，其特征在于，包括：

选取预设数目的样本，作为训练集；

将所述训练集中的样本数据输入机器阅读理解模型中，得到所述机器阅读理解模型输出的训练集中各问题对应的答案，其中，包括答案的开始和结束位置、以及位于所述开始和结束位置的概率；

以最小化极大似然估计损失函数为目标，调整所述机器阅读理解模型的参数，得到基础机器阅读理解模型；

将所述训练集中的样本数据输入所述基础机器阅读理解模型中，得到所述基础机器阅读理解模型输出的训练集中各问题对应的答案；

以最小化最小风险训练损失函数为目标，调整所述基础机器阅读理解模型的参数；

其中，极大似然估计损失函数L(θ)，用于计算所述机器阅读理解模型输出的所述训练集中各问题对应的最大概率答案的损失；最小风险训练损失函数R(θ)，用于计算所述基础机器阅读理解模型输出的所述训练集中各问题对应的答案与标准答案之间的损失。

2.根据权利要求1所述的方法，其特征在于，所述最小风险训练损失函数R(θ)的计算公式为：

其中，x⁽ⁿ⁾为所述训练集中的问题，y为所述机器阅读理解模型输出的答案，P(y|x⁽ⁿ⁾；θ)为当模型参数为θ时、所述机器阅读理解模型输出的答案概率值，Y(x⁽ⁿ⁾)为对应x⁽ⁿ⁾的所述机器阅读理解模型所有可能输出答案的集合，Δ(y,y⁽ⁿ⁾)为所述机器阅读理解模型输出的答案与标准答案y⁽ⁿ⁾之间的差异程度，Δ(y,y⁽ⁿ⁾)＝1-rouge(y,y⁽ⁿ⁾)。

3.根据权利要求1所述的方法，其特征在于，所述最小风险训练损失函数R(θ)的计算公式为：

其中，x⁽ⁿ⁾为所述训练集中的问题，y为所述机器阅读理解模型输出的答案，P(y|x⁽ⁿ⁾；θ)为当模型参数为θ时、所述机器阅读理解模型输出的答案概率值，Y(x⁽ⁿ⁾)为对应x⁽ⁿ⁾的所述机器阅读理解模型所有可能输出答案的集合，S(x⁽ⁿ⁾)为从Y(x⁽ⁿ⁾)采样得到的答案的集合，β为控制概率分布的超参数，Δ(y,y⁽ⁿ⁾)为所述机器阅读理解模型输出的答案与标准答案y⁽ⁿ⁾之间的差异程度。

4.根据权利要求3所述的方法，其特征在于，所述S(x⁽ⁿ⁾)的采样方法包括：

从Y(x⁽ⁿ⁾)选取距离各x⁽ⁿ⁾对应的标准答案最近的k个答案。

5.根据权利要求3所述的方法，其特征在于，所述Δ(y,y⁽ⁿ⁾)的计算公式为：

Δ(y,y⁽ⁿ⁾)＝1-rouge(y,y⁽ⁿ⁾)，其中，rouge的计算公式为：

X和Y为标准答案和模型输出答案的文本序列，m为标准答案的长度，n为模型输出答案的长度，γ为超参数，LCS为最长公共子序列。

6.根据权利要求1所述的方法，其特征在于，以最小化最小风险训练损失函数为目标，调整所述基础机器阅读理解模型的参数之后，所述方法还包括：

当对所述基础机器阅读理解模型的参数完成预设次数的调整后，则利用预设评价函数和选取的验证样本，对训练后的基础机器阅读理解模型输出答案的准确性进行评价；

判断经过预设次数的评价后，得到的评价指标是否有提升；

如果没有提升，则停止对所述机器阅读理解模型的训练，得到最终的机器阅读理解模型。