[发明专利]一种基于剪枝的卷积神经网络压缩方法、系统及介质

说明书

本发明请求保护一种基于剪枝的卷积神经网络压缩方法、系统及介质，包括步骤：对训练数据进行预处理；初始化卷积神经网络模型的权重；计算网络连接的显著度，以显著度的分数作为评估连接重要性的标准，并对显著度进行排序：对卷积神经网络进行剪枝，保留top‑k的连接，使得网络稀疏化：训练稀疏化后的卷积神经网络模型，直到模型收敛。本发明在训练之前对网络进行裁剪，省去了预训练和微调流程，极大地简化了剪枝过程的同时保持了网络的准确率，同时通过显著度分数结构化地选择重要的连接，对于不同的网络结构具有鲁棒性，因此可以应用到多种网络结构中而不需要进行过多的调整。

技术领域

本发明属于卷积神经网络压缩技术领域，具体涉及基于剪枝的卷积神经网络压缩方法。

背景技术

近年来，深度神经网络在解决诸如图像分类，人脸识别等计算机视觉任务上表现极为出色，而在不同类型的的神经网络当中，卷积神经网络是表现极为出色的一种。随着卷积神经网络的发展，网络层次逐渐加深，参数规模变大，这使得卷积神经网络在实际部署上受到了极大的限制。一方面是模型尺寸，卷积神经网络的强大能力来自数以百万计的可训练参数。这些参数以及网络结构信息需要存储在磁盘上，并在推理期间加载到存储器中。例如，存储在ImageNet上训练的典型网络模型会占用超过300MB的空间，这对嵌入式设备来说是一个很大的资源负担；另一方面是运行时内存，在推理期间，即使批量大小为1，卷积神经网络的中间激活/响应甚至可能比存储模型参数占用更多的内存空间。这对于高端GPU来说不是问题，但是对于计算能力低的移动设备和嵌入式设备来说，这是不可承受的。因此，对模型进行剪枝以减少模型的大小很有必要。

深度卷积神经网络的模型参数重有很多冗余，可以寻找一种有效的评判手段来判断参数重要性，将不重要的连接或者滤波器进行裁剪来减少模型的冗余，使模型变得更加稀疏，减少计算量。典型的模型剪枝方法包含三步：训练，剪枝和微调，ICCV2017的论文Network Slimming详细的介绍了这种方法，但是此种方法为了达到较好的准确率，通过需要耗费较长的微调时间。目前最新的剪枝方法Rethinking the Value of NetworkPruning发现通过剪枝得到的模型结构从头开始训练可以得到和微调相当甚至更好的结果。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于剪枝的卷积神经网络压缩方法、系统及介质。本发明的技术方案如下：

一种基于剪枝的卷积神经网络压缩方法，其包括以下步骤：

(1)获取训练数据并对训练数据进行预处理，包括随机裁剪、随机垂直翻转以及正则化；

(2)初始化卷积神经网络模型的权重；

(3)计算网络连接的显著度，以显著度的分数作为评估连接重要性的标准，并对显著度进行排序，其中为了减少计算量以加快剪枝过程，采用了泰勒展开式近似分析剪枝对于损失函数带来的影响；

(4)对卷积神经网络进行剪枝，将剪枝定义为优化问题如式(1)所示,

式(1)中l(X,Y；θ)代表训练模型的损失函数，X代表输入数据，Y是对应的标签，θ∈R^m代表模型的参数；剪枝即选择所有连接的子集并从网络中移除参数那么余下的参数记作因此，为了最小化损失函数的增长需要选择合适的c^*；保留top-k的连接，使得网络稀疏化；

(5)训练稀疏化后的卷积神经网络模型，直到模型收敛。

进一步的，所述步骤(1)对训练数据进行预处理，具体步骤为：

步骤2.1:对于要使用的数据集划分为训练集和测试集，二者的比例为9:1，同时以数据集的一个批次作为训练样本，使用的批次大小为128，所选取的批次公式如式(2)所示，