[发明专利]翻译模型的训练方法、语句翻译方法、装置、设备、程序在审
申请号: | 202210220466.7 | 申请日: | 2022-03-08 |
公开(公告)号: | CN114757210A | 公开(公告)日: | 2022-07-15 |
发明(设计)人: | 程信;严睿;刘乐茂 | 申请(专利权)人: | 腾讯科技(深圳)有限公司;中国人民大学 |
主分类号: | G06F40/47 | 分类号: | G06F40/47;G06F40/58;G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 王花丽;蒋雅洁 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 翻译 模型 训练 方法 语句 装置 设备 程序 | ||
1.一种翻译模型的训练方法,其特征在于,所述训练方法包括:
获取目标翻译记忆语句;
在翻译记忆库中获取与所述目标翻译记忆语句对应的源端语句;
将所述源端语句和所述目标翻译记忆语句组成训练样本,并且将不同的训练样本组成训练样本集合;
获取翻译模型的初始参数;
响应于所述翻译模型的初始参数,通过所述翻译模型对所述训练样本集合中的不同训练样本进行处理,确定所述翻译模型的更新参数;
根据所述翻译模型的更新参数,通过所述训练样本集合中的不同训练样本对所述翻译模型的编码器参数和解码器参数进行迭代更新。
2.根据权利要求1所述的方法,其特征在于,所述获取目标翻译记忆语句,包括:
获取待翻译语句;
基于所述待翻译语句与原始翻译记忆语句的语句相似度进行检索,得到与所述待翻译语句相匹配的至少两个原始翻译记忆语句;
对所获取的至少两个原始翻译记忆语句进行翻译记忆融合处理,得到所述目标翻译记忆语句。
3.根据权利要求2所述的方法,其特征在于,所述基于所述待翻译语句与原始翻译记忆语句的语句相似度进行检索,得到与所述待翻译语句相匹配的至少两个原始翻译记忆语句,包括:
获取所述待翻译语句的最大长度与任一翻译记忆语句的最大长度;
获取所述待翻译语句与所述任一翻译记忆语句的词元距离,
基于所述词元距离、所述待翻译语句的最大长度和所述任一翻译记忆语句的最大长度,确定所述待翻译语句与所述任一翻译记忆语句的相似度;
当所述相似度大于等于相似度阈值时,确定所述任一翻译记忆语句为所述待翻译语句对应的原始翻译记忆语句。
4.根据权利要求1所述的方法,其特征在于,所述对所获取的至少两个原始翻译记忆语句进行翻译记忆融合处理,得到目标翻译记忆语句,包括:
通过注意力函数计算每一个翻译记忆语句对应的注意力值;
将相同注意力值的翻译记忆语句融合为同一翻译记忆语句;或者
将相同注意力值的翻译记忆语句融合为训练样本子集中的不同训练样本。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定与所述翻译模型的使用环境相匹配的动态噪声阈值;
根据所述动态噪声阈值对所述训练样本集合进行去噪处理,以形成与所述动态噪声阈值相匹配的去噪训练样本集合;或者,
确定与所述翻译模型相对应的固定噪声阈值,并根据所述固定噪声阈值对所述训练样本集合进行去噪处理,以形成与所述固定噪声阈值相匹配的去噪训练样本集合。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述训练样本集合进行负例处理,以形成与所述训练样本集合相对应的负例样本集合,其中,所述负例样本集合用于对所述翻译模型的编码器参数和解码器参数调整。
7.根据权利要求6所述的方法,其特征在于,所述对所述训练样本集合进行负例处理,包括:
确定所述翻译模型对应的监督函数;
调整所述监督函数的温度系数;
基于所述训练集合中任意两个翻译记忆语句的向量相似度和不同的温度系数,通过所述监督函数对对所述训练样本集合进行负例处理,以形成与所述训练样本集合相对应的负例样本集合。
8.根据权利要求6所述的方法,其特征在于,所述对所述训练样本集合进行负例处理,包括:
将所述翻译模型的解码器中待输出语句进行随机组合,以形成与所述训练样本集合相对应的负例样本集合;或者,
对所述翻译模型的解码器中待输出语句进行随机删除处理或替换处理以形成与所述训练样本集合相对应的负例样本集合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司;中国人民大学,未经腾讯科技(深圳)有限公司;中国人民大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210220466.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:简易风动喷涂机
- 下一篇:一种MR成像检查设备