[发明专利]一种神经网络训练方法及装置有效
申请号: | 201710450211.9 | 申请日: | 2017-06-15 |
公开(公告)号: | CN107358293B | 公开(公告)日: | 2021-04-02 |
发明(设计)人: | 王乃岩;陈韫韬 | 申请(专利权)人: | 北京图森智途科技有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 101300 北京市顺*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开一种神经网络训练方法及装置,以提升学生网络的性能。方法包括:选取一个与学生网络实现相同功能的教师网络;基于匹配同一训练样本数据对应的第一输出数据的数据间相似性与第二输出数据的数据间相似性来迭代训练所述学生网络得到目标网络,以实现将所述教师网络的输出数据间相似性迁移到所述学生网络;其中:所述第一输出数据为所述训练样本数据输入教师网络后从教师网络的第一特定网络层输出的数据,所述第二输出数据为所述训练样本数据输入学生网络后从学生网络的第二特定网络层输出的数据。本发明技术方案根据教师网络的输出数据间相似性训练得到的学生网络性能更优。 | ||
搜索关键词: | 一种 神经网络 训练 方法 装置 | ||
【主权项】:
一种神经网络训练方法,其特征在于,包括:选取一个与学生网络实现相同功能的教师网络;基于匹配同一训练样本数据对应的第一输出数据的数据间相似性与第二输出数据的数据间相似性来迭代训练所述学生网络得到目标网络,以实现将所述教师网络的输出数据间相似性迁移到所述学生网络;其中:所述第一输出数据为所述训练样本数据输入教师网络后从教师网络的第一特定网络层输出的数据,所述第二输出数据为所述训练样本数据输入学生网络后从学生网络的第二特定网络层输出的数据。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京图森智途科技有限公司,未经北京图森智途科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201710450211.9/,转载请声明来源钻瓜专利网。