[发明专利]神经网络模型的蒸馏方法、装置及电子系统在审
申请号: | 202111135637.8 | 申请日: | 2021-09-27 |
公开(公告)号: | CN114037046A | 公开(公告)日: | 2022-02-11 |
发明(设计)人: | 张培圳;康子健 | 申请(专利权)人: | 北京旷视科技有限公司;北京迈格威科技有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 安卫静 |
地址: | 100096 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供了一种神经网络模型的蒸馏方法、装置及电子系统,涉及人工智能技术领域,获取训练样本图片和该训练样本图片的标注信息;该标注信息用于指示该训练样本图片中物体的属性;通过学生模型对该训练样本图片进行特征提取,得到第一特征;基于该第一特征和该标注信息,通过教师模型处理得到该训练样本图片的第二特征;根据该第一特征和该第二特征确定教师模型和学生模型之间的蒸馏损失;基于该蒸馏损失更新学生模型的参数。本发明可以缓解教师模型和学生模型之间的语义鸿沟问题,提高教师模型向学生模型蒸馏知识的效果。 | ||
搜索关键词: | 神经网络 模型 蒸馏 方法 装置 电子 系统 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京旷视科技有限公司;北京迈格威科技有限公司,未经北京旷视科技有限公司;北京迈格威科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202111135637.8/,转载请声明来源钻瓜专利网。