[发明专利]一种用于神经网络训练的知识蒸馏算法在审
| 申请号： | 202111329117.0 | 申请日： | 2021-11-10 |
| 公开（公告）号： | CN114169495A | 公开（公告）日： | 2022-03-11 |
| 发明（设计）人： | 范益波;苟傲睿 | 申请（专利权）人： | 复旦大学 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 上海正旦专利代理有限公司 31200 | 代理人： | 陆飞;陆尤 |
| 地址： | 200433 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于神经网络技术领域，具体为一种用于神经网络训练的知识蒸馏算法。本发明知识蒸馏算法，涉及老师模型、学生模型以及特征转换模块；特征转移模块主要包括注意力机制转移模块（AT）和激活信息转移模块（AC）两部分；本发明利用复杂的老师模型通过特征层的激活信息以及注意力机制信息的转移，使简单的学生模型学习到有用的特征信息，从而提升学生模型的性能；在训练过程中，老师参与模型的训练，得到有用特征信息的学生模型不在老师的参与下进行前向推理。利用本发明算法进行图像分类，其Top1错误率和Top5错误率明显低于采用通常方法进行训练得到的图像分类的Top1错误率和Top5错误率。 | ||
| 搜索关键词： | 一种 用于 神经网络 训练 知识 蒸馏 算法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于复旦大学，未经复旦大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202111329117.0/，转载请声明来源钻瓜专利网。
