[发明专利]问答模型的训练方法、计算机设备以及可读存储介质有效
申请号: | 202010388307.9 | 申请日: | 2020-05-09 |
公开(公告)号: | CN111737426B | 公开(公告)日: | 2021-06-01 |
发明(设计)人: | 黄薇屹;杨敏;曲强;姜青山;贺倩明 | 申请(专利权)人: | 中国科学院深圳先进技术研究院;深圳得理科技有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/33;G06N3/04;G06N3/08 |
代理公司: | 深圳市威世博知识产权代理事务所(普通合伙) 44280 | 代理人: | 黎坚怡 |
地址: | 518055 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 问答 模型 训练 方法 计算机 设备 以及 可读 存储 介质 | ||
本申请公开了问答模型的训练方法、计算机设备以及计算机可读存储介质。该问答模型的训练方法包括:建立文本匹配模型和元学习模型,文本匹配模型和元学习模型具有相同的深度神经网络结构;获取测试任务和多个不同的训练任务;分别基于多个不同的训练任务各自的第一匹配损失来更新元学习模型的元网络参数,第一匹配损失用于表示多个不同的训练任务各自的文本匹配模型的匹配误差;利用更新后的元网络参数生成文本匹配模型的初始参数,并使用测试任务对文本匹配模型进行训练以更新文本匹配模型的初始参数,将经过训练后所得到的文本匹配模型作为问答模型。通过上述方式,本申请的问答模型能够应用于少样本的问答领域中,并提高问答对匹配的准确性。
技术领域
本申请涉及机器学习技术领域,特别是涉及问答模型的训练方法、计算机设备以及计算机可读存储介质。
背景技术
问答系统是信息检索和自然语言处理的重要分支,近年来,随着互联网络的兴起,用户产生内容在网络上得到了大量的积累,产生了丰富的开放领域问答、垂直领域问答数据。
在社区问答场景中,一种常见的应用是在候选回答中选择与当前用户问题最为匹配的答案,即答案排序与选择。准确率高的问答模型能够快速定位出候选答案中与新来问题最为匹配的回答,提高问题回答率,改善用户体验,但往往意味着需要大量的质量较优的问答样本,这意味着大量的人力成本和时间成本。
对于部分专业领域或小众领域的问题,社区提问回答率往往较低,因此无法提供大量的质量较优的问答样本,用于问答模型的训练,因而存在由于样本量少而模型训练困难的问题。
发明内容
本申请主要解决的技术问题是提供问答模型的训练方法、计算机设备以及计算机可读存储介质,能够解决由于样本量少而模型训练困难的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种问答模型的训练方法,该训练方法包括:模型具有相同的深度神经网络结构;获取测试任务和多个不同的训练任务,所述测试任务和所述训练任务均包括多个问答对数据,所述测试任务中的数据量少于所述训练任务的数据量,每个所述问答对数据包括问题和与所述问题相匹配的候选回答;分别基于多个不同的所述训练任务各自的第一匹配损失来更新元学习模型的元网络参数,所述第一匹配损失用于表示多个不同的所述训练任务各自的文本匹配模型的匹配误差;利用更新后的所述元网络参数生成所述文本匹配模型的初始参数,并使用所述测试任务对所述文本匹配模型进行训练以更新所述文本匹配模型的初始参数,将经过训练后所得到的所述文本匹配模型作为所述问答模型。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种计算机设备,该计算机设备包括处理器以及与处理器连接的存储器;其中,存储器用于存储程序数据,处理器用于执行程序数据,以实现如上述的问答模型的训练方法。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种具有计算机可读存储介质,该计算机可读存储介质用于存储程序数据,程序数据在被处理器执行时,用于实现如上述的问答模型的训练方法。
本申请的有益效果是:区别于现有技术的情况,本申请提供一种问答模型的训练方法,该方法通过建立文本匹配模型和元学习模型,且文本匹配模型和元学习模型具有相同的深度神经网络结构,并获取测试任务和多个不同的训练任务,以分别基于多个不同的训练任务各自的第一匹配损失来更新元学习模型的元网络参数,最后利用更新后的元网络参数生成文本匹配模型的初始参数,并使用测试任务对文本匹配模型进行训练以更新文本匹配模型的初始参数,将经过训练后所得到的文本匹配模型作为问答模型,能够模型训练的学习难度,提升了模型的快速收敛能力,使训练更加充分,且所得到的问答模型能够应用于少样本的问答领域中,并提高问答对匹配的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院深圳先进技术研究院;深圳得理科技有限公司,未经中国科学院深圳先进技术研究院;深圳得理科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010388307.9/2.html,转载请声明来源钻瓜专利网。