[发明专利]一种针对于ResNet的按通道剪枝算法在审
| 申请号： | 201910701289.2 | 申请日： | 2019-07-31 |
| 公开（公告）号： | CN110414608A | 公开（公告）日： | 2019-11-05 |
| 发明（设计）人： | 刘一锋 | 申请（专利权）人： | 西安第六镜网络科技有限公司 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06N3/04 |
| 代理公司： | 北京东方盛凡知识产权代理事务所(普通合伙) 11562 | 代理人： | 张雪 |
| 地址： | 710077 陕西省西安市高*** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种针对于ResNet的按通道剪枝算法，包括如下步骤：步骤一，通道评估；步骤二，神经元去除；步骤三，剪枝模型训练；步骤四，判断；步骤五，微调模型；给模型中所有conv layer重新编号排次序，计算每个conv layer所有通道rank值，并按通道归一化，然后统计模型所有conv layer的通道数，对所有convlayer通道rank值按从大到小排序；根据拟剪枝列表，在训练好或加载的模型中去除，当所有卷积层剪枝结束，依据邻近上一个卷积层输出通道数，通过BatchNorm层继承方式，修改成同样的通道数；全网参数更新，进行剪枝模型训练；判断剪枝是否结束，若停止到下一步微调全网参数，否则重复步骤一到步骤三；微调结束后保存剪枝模型；本发明，计算简单，识别精度高。 | ||
| 搜索关键词： | 剪枝 微调 剪枝算法 模型训练 通道数 卷积 全网 去除 神经元 通道归一化 参数更新 输出通道 通道评估 统计模型 加载 排序 邻近 保存 重复 继承 | ||
【主权项】：
1.一种针对于ResNet的按通道剪枝算法，包括如下步骤：步骤一，通道评估；步骤二，神经元去除；步骤三，剪枝模型训练；步骤四，判断；步骤五，微调模型；其特征在于：其中在上述的步骤一中，给模型中所有conv layer重新编号排次序，计算每个conv layer所有通道rank值，并按通道归一化，然后统计模型所有conv layer的通道数，根据设置拟剪枝数量num，对所有convlayer通道rank值按从大到小排序，即确定rank值最小的num个通道，记录并返回它们的卷积层号和通道编号；其中在上述的步骤二中，根据拟剪枝列表，即卷积层号和通道编号，在训练好或加载的模型中去除，当所有卷积层剪枝结束，依据邻近上一个卷积层输出通道数，通过BatchNorm层继承方式，修改成同样的通道数；其中在上述的步骤三中，全网参数更新，进行剪枝模型训练，也可设置微调特定层参数更新；其中在上述的步骤四中，判断剪枝是否结束，若停止到下一步微调全网参数，否则重复步骤一到步骤三；其中在上述的步骤五中，使用与训练同一个数据库，也可用另外数据库进行微调模型，一般来说学习率要小于训练的1到2个数量级，微调结束后保存剪枝模型。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西安第六镜网络科技有限公司，未经西安第六镜网络科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910701289.2/，转载请声明来源钻瓜专利网。
