[发明专利]用于知识蒸馏的网络训练方法、装置、介质与电子设备有效
| 申请号： | 201910923038.9 | 申请日： | 2019-09-27 |
| 公开（公告）号： | CN110674880B | 公开（公告）日： | 2022-11-11 |
| 发明（设计）人： | 田野 | 申请（专利权）人： | 北京迈格威科技有限公司 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06N3/04 |
| 代理公司： | 北京律智知识产权代理有限公司 11438 | 代理人： | 王辉;阚梓瑄 |
| 地址： | 100190 北京市海淀区科*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提供了一种用于知识蒸馏的网络训练方法、装置、存储介质与电子设备，涉及人工智能技术领域。该方法包括：将样本数据输入教师网络，获得所述样本数据对应的软标签数据，将所述样本数据输入学生网络，获得所述样本数据对应的预测数据；基于所述预测数据、所述软标签数据和所述样本数据对应的硬标签数据，构建损失函数；根据所述损失函数更新所述教师网络中的参数和所述学生网络中的参数。本公开可以对教师网络和学生网络同步训练，降低学生网络对于教师网络的依赖度，提高学生网络的训练效果，并且可以加速训练过程，提高效率。 | ||
| 搜索关键词： | 用于 知识 蒸馏 网络 训练 方法 装置 介质 电子设备 | ||
【主权项】：
1.一种用于知识蒸馏的网络训练方法，其特征在于，包括：/n将样本数据输入教师网络，获得所述样本数据对应的软标签数据，将所述样本数据输入学生网络，获得所述样本数据对应的预测数据；/n基于所述预测数据、所述软标签数据和所述样本数据对应的硬标签数据，构建损失函数；/n根据所述损失函数更新所述教师网络中的参数和所述学生网络中的参数。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京迈格威科技有限公司，未经北京迈格威科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910923038.9/，转载请声明来源钻瓜专利网。
