[发明专利]基于剪枝和蒸馏的卷积神经网络压缩方法有效
| 申请号： | 201710421225.8 | 申请日： | 2017-06-07 |
| 公开（公告）号： | CN108334934B | 公开（公告）日： | 2021-04-13 |
| 发明（设计）人： | 江帆;单羿 | 申请（专利权）人： | 赛灵思公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 北京卓孚律师事务所 11821 | 代理人： | 任宇 |
| 地址： | 美国加利福尼亚*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提供一种基于剪枝和蒸馏的卷积神经网络压缩方法(400)，包括：对原始卷积神经网络模型进行剪枝操作，得到剪枝后的模型(S401)；对剪枝后的模型进行参数微调(S403)；利用原始卷积神经网络模型作为蒸馏算法的老师网络，将经过参数微调的剪枝后的模型作为蒸馏算法的学生网络，根据蒸馏算法，通过老师网络来指导学生网络进行训练(S405)；将经过蒸馏算法训练的学生网络作为压缩后的卷积神经网络模型(S407)。本公开的方法通过将两个传统的网络压缩方法联合使用，更有效地压缩了卷积神经网络模型。 | ||
| 搜索关键词： | 基于 剪枝 蒸馏 卷积 神经网络 压缩 方法 | ||
【主权项】：
1.一种卷积神经网络压缩方法，包括：对原始卷积神经网络模型进行剪枝操作，得到剪枝后的模型；对剪枝后的模型进行参数微调；利用原始卷积神经网络模型作为蒸馏算法的老师网络，将经过参数微调的剪枝后的模型作为蒸馏算法的学生网络，根据蒸馏算法，通过老师网络来指导学生网络进行训练；将经过蒸馏算法训练的学生网络作为压缩后的卷积神经网络模型。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于赛灵思公司，未经赛灵思公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710421225.8/，转载请声明来源钻瓜专利网。
