[发明专利]一种语义理解模型训练方法、语义理解方法、装置及存储介质在审
申请号: | 201911047125.9 | 申请日: | 2019-10-30 |
公开(公告)号: | CN110795945A | 公开(公告)日: | 2020-02-14 |
发明(设计)人: | 袁刚;赵学敏 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F16/35;G06N20/00 |
代理公司: | 11270 北京派特恩知识产权代理有限公司 | 代理人: | 赵翠萍;张颖玲 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语义理解 车载环境 训练样本集合 匹配 网络参数 语句 语料 噪声 样本 存储介质 迭代更新 更新参数 环境噪声 模型训练 使用场景 训练样本 语义表示 全双工 输出层 数据源 标注 | ||
本发明提供了一种语义理解模型训练方法,包括:对数据源中的与车载环境相匹配的训练样本进行召回处理;对与车载环境相匹配的带有噪声的语句样本进行边界语料扩充处理;对经过边界语料扩充处理的与车载环境相匹配的带有噪声的语句样本进行标注,以形成第一训练样本集合;通过语义理解模型对第二训练样本集合进行处理;根据语义理解模型的更新参数,通过第二训练样本集合对语义理解模型的语义表示层网络参数和任务相关输出层网络参数进行迭代更新。本发明还提供了语义理解方法、装置及存储介质。本发明能够提升语义理解模型的训练精度与训练速度,使得语义理解模型能够适应车载环境全双工使用场景,避免环境噪声对语义理解模型的影响。
技术领域
本发明涉及机器学习技术,尤其涉及一种语义理解模型训练方法、语义理解方法、装置及存储介质。
背景技术
全双工语音交互的使用场景中,需要在多个音源同时持续发出声音的多声源环境中实现以下操作:例如对比语音身份的识别(男、女、儿童),触发不同内容的对话,语音情绪识别、音乐/歌声识别等;环境处理,针对背景的噪声识别与回声消除,这一过程中语义理解模型全双工的对话场景下,背景噪声、和他人的闲聊等领域无关(OOD,Out-Of-Domain)的语料更容易被助手收听进来,这样的语料如果被智能助手误响应,那么交互成功率较低,影响用户的使用体验。因此,在全双工场景下,尤其是车载环境的全双工场景下需要对话系统中的领域意图识别精度要求更高,需要语义理解模型懂得何时该拒识(即拒绝响应),何时该响应用户说的话,以提升用户的使用体验。
发明内容
有鉴于此,本发明实施例提供一种语义理解模型训练方法、语义理解方法、装置及存储介质,使得语义理解模型的泛化能力更强,提升语义理解模型的训练精度与训练速度,同时还可以有效充分利用已有的与车载环境相匹配的噪声语句对模型训练的增益,获取更多数量的与车载环境相匹配的训练样本,使得语义理解模型针对车载环境的全双工语音场景实现更好的针对性,提升语义理解模型在车载环境中对信息处理的准确性,避免环境噪声对语义理解模型的影响。
本发明实施例的技术方案是这样实现的:
本发明提供了一种语义理解模型训练方法,其特征在于,所述方法包括:
对数据源中的与车载环境相匹配的训练样本进行召回处理;
根据所述召回处理的结果,触发相应的主动学习进程,以实现获取所述数据源中与车载环境相匹配的带有噪声的语句样本;
响应于所述主动学习进程,触发主动探索进程,以实现对所述与车载环境相匹配的带有噪声的语句样本进行边界语料扩充处理;
对经过边界语料扩充处理的与车载环境相匹配的带有噪声的语句样本进行标注,以形成第一训练样本集合;
对所述第一训练样本集合进行去噪处理,以形成相应的第二训练样本集合;
通过语义理解模型对所述第二训练样本集合进行处理,以确定所述语义理解模型的初始参数;
响应于所述语义理解模型的初始参数,通过所述语义理解模型对所述第二训练样本集合进行处理,确定所述语义理解模型的更新参数;
根据所述语义理解模型的更新参数,通过所述第二训练样本集合对所述语义理解模型的语义表示层网络参数和任务相关输出层网络参数进行迭代更新。
上述方案中,所述对所述第一训练样本集合进行去噪处理,以形成相应的第二训练样本集合,包括:
确定与所述语义理解模型的使用环境相匹配的动态噪声阈值;
根据所述动态噪声阈值对所述第一训练样本集合进行去噪处理,以形成与所述动态噪声阈值相匹配的第二训练样本集合。
本发明还提供了、一种语义理解模型的语义理解方法,所述方法包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911047125.9/2.html,转载请声明来源钻瓜专利网。