[发明专利]一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法

说明书

一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法，包括：步骤1、向原始网络添加遮掩层约束，获取待剪枝的深度卷积神经网络模型，步骤2、网络模型在数据集上训练，根据通道梯度和权值的乘积的绝对值作为重要性标准更新通道的遮掩层约束，得到掩码和稀疏模型，步骤3、基于掩码对稀疏模型做剪枝操作，步骤4、重训练紧凑的深度卷积神经网络模型。本发明还提供了基于通道梯度剪枝的柔性深度学习网络模型压缩方法在实际物体识别APP上的应用效果，剪枝后模型对物体的识别速度大幅提升，解决了深度神经网络模型因高存储空间占用，高内存占用，高计算资源占用导致无法部署到嵌入式、智能手机等设备上的技术问题，拓展了深度神经网络的应用范围。

技术领域

本发明涉及一种柔性深度学习网络模型压缩方法，具体涉及智能手机APP 上实现物体识别的实际应用。

背景技术

深度学习在图像识别、目标检测、图像分割、语音识别，QA问答等多个任 务中都得到了应用，并取得了相较传统方法更出色的效果。但深度神经网络出色 的性能与其复杂的结构和自身庞大的参数量密切相关。并且随着技术进步，深度 学习领域有着神经网络模型结构趋于复杂的发展趋势。因此，高性能的深度神经 网络模型对硬盘存储空间，内存带宽和平台计算资源的需求非常高。深度神经网 络模型的高资源需求和手机、手环、自动驾驶车辆等平台的有限资源间的矛盾限 制了其在此类平台的部署工作，降低神经网络的应用价值。为了将深度神经网络 模型部署到资源受限的平台，网络模型需要被进一步压缩来实现保证性能的同时 降低模型复杂度、模型计算量和提升推理速度的目标。

剪枝一些冗余的网络参数是压缩卷积神经网络模型进而加快模型推理的一 种普遍方法。根据修改的粒度不同以及剪枝后的网络结构是否发生变化，剪枝可 以分为非结构化剪枝和结构化剪枝。非结构化剪枝的目标是神经元(通道)内部权 重参数矩阵。在剪枝过程中，通道中的权重会根据一些规则被删除进而减少模型 参数量。在论文Learning bothweights and connections for efficient neural network (Han S,Pool J,Tran J,etal.Learning both weights and connections for efficient neural network[C].Advances in neural information processing systems.2015: 1135-1143.)中Has等将权重大小小于阈值的权重视为冗余参数并剪除得到稀疏 通道。但稀疏通道无法被通用硬件直接加速，使得实际剪枝后的网络依赖特殊设 计的软硬件才能进行推理。结构化剪枝的目标是神经元(通道)。在保证性能稳定 和结构规整前提下，结构化剪枝通过减少每一层的通道数来减少模型参数量和加 速通用硬件上网络推理。专利(郭烈,高建东,赵剑,刘蓬勃,石振周.一种基于网络 层剪枝的深度学习网络模型压缩方法[P].辽宁省：CN111401523A,2020-07-10) 中，郭烈等提出一种以批规范化(Batch Normalization,BN)层Gamma参数大小 作为判别标准的通道剪枝方法，将Gamma参数小于阈值的通道删除。但该方法 采用BN层Gamma参数作为反映实际通道对结果影响大小的标准是欠妥的。这 两者并非完全一致。在论文基于层融合特征系数的动态网络结构化剪枝(卢海伟, 袁晓彤.基于层融合特征系数的动态网络结构化剪枝[J].模式识别与人工智 能,2019,32(11):1051-1059)中，卢海伟等人提出一种基于层融合特征系数的动态 网络结构化剪枝方法，同时考虑BN层参数和Dropout操作对特征图的影响，利 用多动态参数寻找并删除冗余通道，获取最优网络结构。但是该方法将卷积层 +BN层的结构转化为全连接层结构后，引入超参数来控制压缩率不能直接反映 实际压缩率，即无法在剪枝结束前预测最终的每秒浮点运算次数(Floating-point Operations Per second,FLOPs)压缩率。此外，被剪后的通道不再提取特征意味 着剪枝后的模型不可避免出现一定程度的性能下降。

发明内容

本发明克服现有技术的上述缺点，提出一种基于通道梯度剪枝的柔性深度学 习网络模型压缩方法。