[发明专利]基于剪枝和蒸馏的卷积神经网络压缩方法

说明书

本公开提供一种基于剪枝和蒸馏的卷积神经网络压缩方法(400)，包括：对原始卷积神经网络模型进行剪枝操作，得到剪枝后的模型(S401)；对剪枝后的模型进行参数微调(S403)；利用原始卷积神经网络模型作为蒸馏算法的老师网络，将经过参数微调的剪枝后的模型作为蒸馏算法的学生网络，根据蒸馏算法，通过老师网络来指导学生网络进行训练(S405)；将经过蒸馏算法训练的学生网络作为压缩后的卷积神经网络模型(S407)。本公开的方法通过将两个传统的网络压缩方法联合使用，更有效地压缩了卷积神经网络模型。

技术领域

本发明涉及卷积神经网络，更具体涉及基于剪枝和蒸馏的卷积神经网络压缩方法。

背景技术

卷积神经网络(Convolutional Neural Network,CNN)目前被广泛地应用在计算机视觉的各个领域，如图像识别、物体检测、图像分割等等，是计算机视觉和多媒体领域的研究热点和关键技术，具有重要的研究意义和实用价值。卷积神经网络是深度学习技术中具有代表性的网络结构之一，在图像处理领域取得了很大的成功，在国际标准的ImageNet数据集上，许多成功的模型都是基于卷积神经网络。相较于传统的图像处理算法，卷积神经网络避免了对图像复杂的前期预处理过程(提取人工特征等)，可以直接输入原始的图像，是一种端到端的模型。

卷积神经网络虽然取得了较好的效果，但由于卷积神经网络模型的参数量较大，运算次数较多，目前卷积神经网络的运算一般采用GPU进行加速，卷积神经网络的应用也多在云端，在终端落地面临巨大的挑战。

为了减少网络模型的冗余，科研人员提出对模型进行剪枝的压缩。例如，参见S.Han,J.Pool,J.Tran,W.J.DalIy(2015)Learning both Weights and Connections forEfficient Neural Network.In Advances in Neural Information ProcessingSystems，其公开的全部内容通过援引加入进来。另外，也可以参见和S.Han,H.Mao,W.J.Dally(2016)Deep compression:Compressing deep neural network with pruning，trained quantization and huffman coding.In International Conference onLearning Representations，其公开的全部内容通过援引加入进来。在剪枝中，通过一定的准则，保留比较重要的连接或元素，并将其余的连接或者元素删除，得到压缩的网络。然后，对压缩后的网络进行参数微调。图1是对卷积神经网络进行剪枝的示意图。该剪枝方法能够有效地减小模型的参数和运算量，但由于删除了原始模型中的部分元素和模块，压缩后模型的准确率也有一定程度的损失。

另一类模型压缩方法被称为蒸馏算法。例如，参见G.Hinton,O.Vinyals,J.Dean(2015)Distilling the knowledge in a neural network.arXiv preprint arXiv:1503.02531，其公开的全部内容通过援引加入进来。在蒸馏算法中，将复杂模型的“知识”提炼或者蒸馏到小模型，指导小模型的训练，从而也实现了对大模型的压缩。该类方法能够提升小模型的性能，减小大模型的运算量，但蒸馏后的小模型的性能往往不够理想。

考虑到针对卷积神经网络应用的现状，希望提出一种新型的卷积神经网络压缩方法。

发明内容

本发明提出了一种基于剪枝和蒸馏的卷积神经网络压缩方法，该方法在有效压缩模型的同时能达到较好的模型精度。对网络模型进行剪枝后，模型精度往往会有所降低，我们首先对该模型进行参数微调来恢复模型的精度。进一步地，我们采用蒸馏的方法将原始模型中的知识提炼到压缩模型中，提升压缩模型的性能。在蒸馏中，原始的模型作为大模型，剪枝后的模型作为小模型。训练时，我们使小网络的输出去拟合大网络的输出，从而达到蒸馏的目的。相对于剪枝方法和蒸馏方法，本发明将两个传统的网络压缩方法联合使用，更有效地压缩卷积神经网络模型。