[发明专利]基于多级剪枝的结构化网络模型压缩加速方法有效
| 申请号： | 201910820048.X | 申请日： | 2019-08-31 |
| 公开（公告）号： | CN110619385B | 公开（公告）日： | 2022-07-29 |
| 发明（设计）人： | 刘欣刚;吴立帅;钟鲁豪;韩硕;王文涵;代成 | 申请（专利权）人： | 电子科技大学 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 电子科技大学专利中心 51203 | 代理人： | 周刘英 |
| 地址： | 611731 四川省成*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于多级剪枝的结构化网络模型压缩加速方法，属于模型压缩加速技术领域。本发明包括如下步骤：获取预训练模型，训练得到初始完备网络模型；测量卷积层敏感度，通过控制变量获得各个卷积层的敏感度‑剪枝率曲线；按照敏感度次序从低到高进行单层剪枝，微调重训练网络模型；选取样本作为验证集，测量滤波器输出特征图的信息熵；根据输出熵大小次序进行迭代柔性剪枝，微调重训练网络模型；硬性剪枝，对网络模型进行重训练恢复网络性能，得到并保存轻量级模型。本发明可以在保持原有网络性能的前提下，对大规模卷积神经网络进行压缩，能够缩减网络的本地内存占用，减少运行时的浮点运算和显存占用，实现网络的轻量化。 | ||
| 搜索关键词： | 基于 多级 剪枝 结构 网络 模型 压缩 加速 方法 | ||
【主权项】：
1.基于多级剪枝的结构化网络模型压缩加速方法，其特征在于，包括下列步骤：/nS1：获取预训练模型：/n在训练数据集上对待处理的原始网络模型进行训练，得到完备网络模型；/nS2：基于预训练模型，测量原始网络模型的卷积层敏感度，通过控制变量法获得各个卷积层的敏感度-剪枝率变化曲线；/nS3：敏感度层间迭代剪枝：/n按照敏感度次序从低到高对当前网络模型进行单层剪枝，微调网络模型；/nS4：测量滤波器重要性指数：/n选取样本作为验证集，测量当前网络模型的滤波器输出特征图的信息熵，即输出图像熵；/nS5：图像熵迭代剪枝：/n根据输出图像熵大小次序对当前网络模型进行迭代柔性剪枝，微调重训练模型；/nS6：硬性剪枝，对当前网络模型进行重训练，得到并保存轻量级模型。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于电子科技大学，未经电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910820048.X/，转载请声明来源钻瓜专利网。
