[发明专利]模型训练方法、装置、计算机可读存储介质和计算机设备在审
申请号: | 201910176207.7 | 申请日: | 2019-03-08 |
公开(公告)号: | CN110263350A | 公开(公告)日: | 2019-09-20 |
发明(设计)人: | 邵晨泽;张金超;孟凡东;周杰;冯洋 | 申请(专利权)人: | 腾讯科技(深圳)有限公司;中国科学院计算技术研究所 |
主分类号: | G06F17/28 | 分类号: | G06F17/28;G06N3/04;G06N3/08 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 李文渊;何平 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 源文本 模型训练 训练样本 隐层 翻译 计算机可读存储介质 质量评估模型 计算机设备 期望文本 训练文本 文本 向量 标签训练 输入翻译 申请 标签 输出 融合 | ||
1.一种模型训练方法,包括:
获取训练文本对;所述训练文本对包括相对应的源文本和期望文本;
将所述源文本输入翻译模型,生成与所述源文本相对应的翻译文本;
获取所述翻译模型的隐层所输出的隐层向量作为质量评估模型的训练样本;所述隐层向量融合了所述源文本和所述翻译文本;
根据所述翻译文本与所述期望文本,确定所述训练样本相应的训练标签;
通过所述训练样本和相应的训练标签训练所述质量评估模型。
2.根据权利要求1所述的方法,其特征在于,所述将所述源文本输入翻译模型,生成与所述源文本相对应的翻译文本,包括:
通过翻译模型的编码器对所述源文本进行语义编码,得到语义向量序列;
通过所述翻译模型的解码器,根据所述翻译模型前次输出的目标词及前次输出的目标词的隐层向量,对所述语义向量序列进行解码得到当次的隐层向量;
根据所述当次的隐层向量,确定所述翻译模型当次输出的目标词;
根据所述翻译模型输出的各目标词,生成所述源文本对应的翻译文本。
3.根据权利要求2所述的方法,其特征在于,所述获取所述翻译模型的隐层所输出的隐层向量作为质量评估模型的训练样本,包括:
获取通过所述翻译模型中解码器包括的隐层依次输出的隐层向量;
将各所述隐层向量按输出的时间顺序排列得到隐层向量序列;
获取所述隐层向量序列作为质量评估模型的训练样本。
4.根据权利要求1所述的方法,其特征在于,所述根据所述翻译文本与所述期望文本,确定所述训练样本相应的训练标签,包括:
按照预设的文本匹配方式,计算所述翻译文本与所述期望文本的匹配度;
将所述匹配度作为所述训练样本相应的训练标签。
5.根据权利要求1所述的方法,其特征在于,所述通过所述训练样本和相应的训练标签训练所述质量评估模型,包括:
将所述训练样本输入所述质量评估模型,得到质量评估得分;
根据所述质量评估得分和所述训练标签的差异构造损失函数;
固定所述翻译模型的模型参数,按照最小化所述损失函数的方向调整所述质量评估模型的模型参数并继续训练,直至满足训练停止条件时结束训练。
6.根据权利要求4所述的方法,其特征在于,所述将所述训练样本输入所述质量评估模型,得到质量评估得分,包括:
通过所述质量评估模型的多个循环神经网络单元,逐个对所述训练样本进行运算,得到与所述训练样本对应的质量评估向量;
对所述质量评估向量进行线性变换和非线性变换中的至少一种变换,得到由所述质量评估向量映射至的质量评估得分。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当选择训练翻译模型时,则将翻译模型的隐层所输出的隐层向量输入质量评估模型,得到质量评估得分;
根据所述质量评估得分确定所述翻译模型的损失函数;
按照最小化所述损失函数的方向训练翻译模型;
当选择训练质量评估模型时,则继续执行所述获取所述翻译模型的隐层所输出的隐层向量作为质量评估模型的训练样本的步骤。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述翻译模型的源端单训练样本;
将所述源端单训练样本输入翻译模型,获取所述翻译模型的隐层所输出的隐层向量输入所述质量评估模型,得到质量评估得分;
根据所述质量评估得分,确定所述翻译模型的损失函数;
按照最小化所述损失函数的方向调整所述翻译模型的模型参数并继续训练,直至满足训练停止条件时结束训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司;中国科学院计算技术研究所,未经腾讯科技(深圳)有限公司;中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910176207.7/1.html,转载请声明来源钻瓜专利网。