[发明专利]基于结构冗余检测的卷积神经网络模型剪枝方法

说明书

本发明提供一种基于结构冗余检测的卷积神经网络模型剪枝方法，其中：首先在训练集上训练卷积神经网络模型，并在验证集上对其进行评估；然后尝试剪枝神经网络模型的不同子结构并微调其余结构，以检测被剪枝的子结构的冗余性，在每次迭代中，如果剪枝后的神经网络模型无法通过微调重新获得大部分丢失的精度，则将剪枝的结构还原。重复该方法，直到模型所有子结构的冗余性都被检验；最后在训练集和验证集上重新初始化并训练剪枝后的模型，得到最终的优化模型。本发明减少了神经网络的资源消耗，改善了现有模型剪枝方法实现复杂的问题。

技术领域

本发明属于深度卷积神经网络模型技术领域的一种压缩技术，具体地，涉及一种基于结构冗余检测的卷积神经网络模型剪枝方法，通过模型剪枝方式对卷积神经网络模型进行压缩以及加速模型推演。

背景技术

深度学习在计算机视觉、语音和自然语言处理等领域都取得了巨大的成功。在图像识别、目标检测、语义分割、行人检测、行人重识别、人脸检测、人脸识别、语音识别、语言翻译等任务中都得到了应用，并且取得了较好的效果。深度卷积神经网络模型对硬盘存储、内存带宽和计算资源占用很高，并且有向着网络层数更深，网络参数更多的发展趋势，因此深度卷积神经网络模型很难在手机、自动驾驶车辆和手环等资源受限的平台上部署。为了将深度卷积神经网络模型部署到资源受限的平台，就需要对深度卷积神经网络模型进行压缩，在保证其性能的情况下，降低其模型尺寸、模型参数量和模型计算量。

现有的压缩技术，通常采用非结构化剪枝、固定模型剪枝或者基于稀疏正则训练的方式，这些方式通常存在如下问题：

1、非结构化剪枝方式如Deep Compression虽然可以获得较好的压缩效果，但是其压缩后的稀疏卷积神经网络模型需要在专用的软件或硬件上才能获得加速效果。

2、固定模型剪枝的方式如L1-norm需要在剪枝前手工设计剪枝后的卷积神经网络结构，十分耗时。

3、基于稀疏正则训练的方式如Network Sliming在训练中将稀疏正则施加在缩放因子上从而自动学习一个精简的卷积神经网络结构，但是其需要重新训练原始模型，十分耗时。

发明内容

本发明针对现有技术中卷积神经网络模型剪枝方法存在的不足，提供了基于结构冗余检测的卷积神经网络模型剪枝方法，该方法采用三个步骤来减少神经网络的资源消耗，改善了现有模型剪枝方法实现复杂的问题，从而简化了模型剪枝方法的复杂度并提升了剪枝性能。

本发明是通过以下技术方式实现的。

一种基于结构冗余检测的卷积神经网络模型剪枝方法，包括：

S1：按顺序选择卷积神经网络中的子结构；

S2：检测卷积神经网络子结构的冗余性，如果该子结构为冗余结构，则执行S3；如果该子结构不是冗余结构，则返回S1重新开始；

S3：剪枝卷积神经网络的冗余结构，重复执行S1和S2，直至对卷积神经网络中所有冗余子结构完成剪枝，并对得到的剪枝后的卷积神经网络进行训练，得到最终的优化模型。

优选地，所述S1中，子结构的选择依据从大到小、从后到前的顺序原则。

优选地，所述S1中，卷积神经网络为训练后的卷积神经网络，其中，采用批次训练和随机梯度下降的方法，在训练集上对卷积神经网络进行训练，并在训练的同时加入正则和动量，使卷积神经网络训练更稳定且不易陷入局部最优解。

优选地，所述S2中，卷积神经网络子结构的冗余性的检测方法为：