[发明专利]一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法在审
| 申请号： | 202110427314.X | 申请日： | 2021-04-20 |
| 公开（公告）号： | CN113159173A | 公开（公告）日： | 2021-07-23 |
| 发明（设计）人： | 姜竹青;周兆京;门爱东;王海婴 | 申请（专利权）人： | 北京邮电大学 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06N3/04 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100876 *** | 国省代码： | 北京;11 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本发明涉及一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法。该方法包括：获取图像训练集A；获取目标网络模型，对其包含的每个通道引入缩放因子γ；对目标网络模型进行训练，将训练后的模型作为教师网络；按照缩放因子γ的绝对值大小对教师网络的通道数剪枝，将剪枝后的模型视为学生网络；获取图像训练集A中少量图像，同时输入教师、学生网络，分别计算教师、学生网络各卷积层通道输出的特征图之间的分布差异；将分布差异作为损失函数，对学生网络进行训练，使其模型精度快速恢复至教师网络的水平；输出训练后的学生网络。本发明具有压缩率高、快速恢复压缩模型精度的优势，从而便于网络模型在终端设备上的部署。 | ||
| 搜索关键词： | 一种 结合 剪枝 知识 蒸馏 卷积 神经网络 模型 压缩 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京邮电大学，未经北京邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110427314.X/，转载请声明来源钻瓜专利网。
