[发明专利]翻译模型的训练方法、文本处理方法、装置及存储介质在审
申请号: | 201910901021.3 | 申请日: | 2019-09-23 |
公开(公告)号: | CN110598224A | 公开(公告)日: | 2019-12-20 |
发明(设计)人: | 伍海江;袁松岭;王晓利 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F17/28 | 分类号: | G06F17/28;G06N3/08 |
代理公司: | 11270 北京派特恩知识产权代理有限公司 | 代理人: | 李梅香;张颖玲 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 训练样本集合 翻译 初始参数 更新参数 编码器参数 解码器参数 存储介质 迭代更新 模型训练 使用场景 文本处理 去噪 语句 噪声 响应 | ||
1.一种翻译模型的训练方法,其特征在于,所述训练方法包括:
获取第一训练样本集合,其中所述第一训练样本集合包括至少一组带有噪声的语句样本;
对所述第一训练样本集合进行去噪处理,以形成相应的第二训练样本集合;
通过翻译模型对所述第一训练样本集合进行处理,以确定所述翻译模型的初始参数;
响应于所述翻译模型的初始参数,通过所述翻译模型对所述第二训练样本集合进行处理,确定所述翻译模型的更新参数;
根据所述翻译模型的更新参数,通过所述第一训练样本集合和所述第二训练样本集合对所述翻译模型的编码器参数和解码器参数进行迭代更新。
2.根据权利要求1所述的方法,其特征在于,
所述对所述第一训练样本集合进行去噪处理,以形成相应的第二训练样本集合,包括:
确定与所述翻译模型的使用环境相匹配的动态噪声阈值;
根据所述动态噪声阈值对所述第一训练样本集合进行去噪处理,以形成与所述动态噪声阈值相匹配的第二训练样本集合;或者,
确定与所述翻译模型相对应的固定噪声阈值,并根据所述固定噪声阈值对所述第一训练样本集合进行去噪处理,以形成与所述固定噪声阈值相匹配的第二训练样本集合。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述第一训练样本集合进行负例处理,以形成与所述第一训练样本集合相对应的负例样本集合,其中,所述负例样本集合用于调整所述翻译模型的编码器参数和解码器参数调整;
根据所述负例样本集合确定相应的双语评估研究值,其中,所述双语评估研究值,用于作为监督参数对所述翻译模型的翻译结果进行评价。
4.根据权利要求3所述的方法,其特征在于,所述对所述第一训练样本集合进行负例处理,包括:
将所述翻译模型的解码器中待输出语句进行随机组合,以形成与所述第一训练样本集合相对应的负例样本集合;或者,
对所述翻译模型的解码器中待输出语句进行随机删除处理或替换处理以形成与所述第一训练样本集合相对应的负例样本集合。
5.根据权利要求1所述的方法,其特征在于,所述响应于所述翻译模型的初始参数,通过所述翻译模型对所述第二训练样本集合进行处理,确定所述翻译模型的更新参数,包括:
将所述第二训练样本集合中不同语句样本,代入由所述翻译模型的编码器和所述解码器构成的自编码网络对应的损失函数;
确定所述损失函数满足收敛条件时对应所述翻译模型中编码器的参数和相应的解码器参数作为所述翻译模型的更新参数。
6.根据权利要求5所述的方法,其特征在于,所述根据所述翻译模型的更新参数,通过所述第一训练样本集合和所述第二训练样本集合对所述翻译模型的编码器参数和解码器参数进行迭代更新,包括:
通过所述翻译模型的更新参数,确定与所述第一训练样本集合相匹配的第一噪声参数,所述第一噪声参数用于表征所述第一训练样本集合中平行语句样本的噪声值;
通过所述翻译模型的更新参数,确定与所述第二训练样本集合相匹配的第二噪声参数,所述第二噪声参数用于表征所述第二训练样本集合中平行语句样本的噪声值;
确定所述第一噪声参数与所述第二噪声参数中噪声值最小的噪声参数;
根据所述第一噪声参数与所述第二噪声参数中噪声值最小的噪声参数,对所述翻译模型的编码器参数和解码器参数进行迭代更新,直至所述翻译模型的编码器和所述解码器构成的自编码网络对应的损失函数满足对应的收敛条件。
7.一种翻译模型的文本处理方法,其特征在于,所述方法包括:
通过翻译模型的编码器,确定与待翻译语句所对应的至少一个词语级的隐变量;
通过所述翻译模型的解码器,根据所述至少一个词语级的隐变量,生成与所述词语级的隐变量相对应的翻译词语以及所述翻译词语的被选取概率;
根据所述翻译结果的被选取概率,选取至少一个翻译词语组成与所述待翻译语句相对应的翻译结果;
输出所述翻译结果;
其中,所述翻译模型基于如权利要求1至6任一项所述的方法训练得到。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910901021.3/1.html,转载请声明来源钻瓜专利网。