[发明专利]一种机器阅读理解模型的分阶段训练方法及装置有效
| 申请号： | 201811536824.5 | 申请日： | 2018-12-14 |
| 公开（公告）号： | CN109685212B | 公开（公告）日： | 2022-12-16 |
| 发明（设计）人： | 李健铨;刘小康;陈夏飞;晋耀红;杨凯程;陈玮;张乐乐;董铭慆 | 申请（专利权）人： | 安徽省泰岳祥升软件有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06F16/332 |
| 代理公司： | 北京弘权知识产权代理有限公司 11363 | 代理人： | 逯长明;许伟群 |
| 地址： | 230088 安徽省合肥市高新区习友路333*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提供了一种机器阅读理解模型的分阶段训练方法及装置，具体的，在进行机器阅读理解模型训练时，首先利用极大似然估计函数对目标机器阅读理解模型进行训练，得到基础机器阅读理解模型，然后，再利用最小风险训练损失函数，继续对上述基础机器阅读理解模型进行训练，以实现基础机器阅读理解模型参数的微调整，对模型继续进行优化。由于最小风险训练函数的思想是使用损失函数来描述模型输出的答案与标准答案之间的差异程度、即损失，并试图寻找一组模型参数使得机器阅读理解模型在训练集上损失值最小，因此，与单纯利用极大似然估计函数相比，本申请提供的分阶段方法所训练出来的模型抽取答案可以更准确。 | ||
| 搜索关键词： | 一种 机器 阅读 理解 模型 分阶段 训练 方法 装置 | ||
【主权项】：
1.一种机器阅读理解模型的分阶段训练方法，其特征在于，包括：选取预设数目的样本，作为训练集；将所述训练集中的样本数据输入机器阅读理解模型中，得到所述机器阅读理解模型输出的训练集中各问题对应的答案，其中，包括答案的开始和结束位置、以及位于所述开始和结束位置的概率；以最小化极大似然估计损失函数为目标，调整所述机器阅读理解模型的参数，得到基础机器阅读理解模型；将所述训练集中的样本数据输入所述基础机器阅读理解模型中，得到所述基础机器阅读理解模型输出的训练集中各问题对应的答案；以最小化最小风险训练损失函数为目标，调整所述基础机器阅读理解模型的参数；其中，极大似然估计损失函数L(θ)，用于计算所述机器阅读理解模型输出的所述训练集中各问题对应的最大概率答案的损失；最小风险训练损失函数R(θ)，用于计算所述基础机器阅读理解模型输出的所述训练集中各问题对应的答案与标准答案之间的损失。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于安徽省泰岳祥升软件有限公司，未经安徽省泰岳祥升软件有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811536824.5/，转载请声明来源钻瓜专利网。
