[发明专利]模型训练方法、翻译方法、相关装置、设备及存储介质在审
| 申请号： | 201910179474.X | 申请日： | 2019-03-05 |
| 公开（公告）号： | CN109918684A | 公开（公告）日： | 2019-06-21 |
| 发明（设计）人： | 涂兆鹏;王星;李建 | 申请（专利权）人： | 腾讯科技（深圳）有限公司 |
| 主分类号： | G06F17/28 | 分类号： | G06F17/28;G06K9/62;G06N3/02;G06N3/08 |
| 代理公司： | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人： | 王仲凯 |
| 地址： | 518057 广东省深圳*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种神经网络模型训练方法，包括：通过初始神经网络模型的向量转换层，将输入样本转换为第一输入向量，通过多个注意力网络中的每个注意力网络，将所述第一输入向量转换为与所述每个注意力网络对应的第一输出向量，通过非线性变换层，将每个第一输出向量分别线性变换为对应的第二输入向量，通过协同路由网络，根据每个第二输入向量对应的投票向量确定对应的第二输出向量，并将每个第二输出向量进行拼接，以得到目标输出向量，根据所述目标输出向量与所述输出样本对应向量的比对结果，对所述初始神经网络模型的参考参数进行迭代调整直到满足收敛条件，以得到目标神经网络模型。本申请训练得到的目标神经网络模型具有更强地学习能力。 | ||
| 搜索关键词： | 输出向量 输入向量 神经网络模型 目标输出向量 注意力 目标神经 网络模型 非线性变换 比对结果 参考参数 存储介质 迭代调整 路由网络 模型训练 收敛条件 输出样本 输入样本 线性变换 相关装置 向量确定 向量转换 学习能力 网络 转换 向量 拼接 申请 协同 翻译 投票 | ||
【主权项】：
1.一种神经网络模型训练的方法，其特征在于，包括：获取训练样本集合，所述训练样本集合中包括多个训练样本对，其中每个训练样本对包括输入样本和输出样本；通过初始神经网络模型的向量转换层，将输入样本转换为第一输入向量，所述初始神经网络模型还包括多个注意力网络、非线性变换层和协同路由网络；通过多个注意力网络中的每个注意力网络，将所述第一输入向量转换为与所述每个注意力网络对应的第一输出向量；通过非线性变换层，将每个第一输出向量分别线性变换为对应的第二输入向量；通过协同路由网络，根据每个第二输入向量对应的投票向量确定对应的第二输出向量，并将每个第二输出向量进行拼接，以得到目标输出向量；根据所述目标输出向量与所述输出样本对应向量的比对结果，对所述初始神经网络模型的参考参数进行迭代调整直到满足收敛条件，以得到目标神经网络模型。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于腾讯科技（深圳）有限公司，未经腾讯科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910179474.X/，转载请声明来源钻瓜专利网。
