[发明专利]一种基于特征图的神经网络剪枝方法

说明书

本发明公开了一种基于特征图的神经网络剪枝方法，包括：(1)对于待剪枝的神经网络模型，准备训练数据集进行训练；(2)定义拓扑洞为衡量特征图信息量的标量，对预训练好的卷积神经网络输入数据，计算每一层不同通道对应的拓扑洞值；(3)为该神经网络的每一层设置剪枝率，并根据每一层的输出通道数，确定剪枝后的模型每一层输出通道数；(4)凭借拓扑洞值及剪枝率对神经网络剪枝得到剪枝后的网络；(5)剪枝后的神经网络在相同训练数据集下进行重训练，以恢复损失精度；(6)利用剪枝后神经网络进行应用，将待识别的图像输入剪枝后的神经网络，得到图像中不同物体的类别。利用本发明，可以在提高剪枝率的同时保证模型的精度。

技术领域

本发明属于计算机图像识别领域，尤其是涉及一种基于特征图的神经网络结构剪枝方法。

背景技术

近年来，深度学习技术被应用于计算机视觉、自然语言处理等领域的数据分析，取得了前所未有的成功。同时，卷积神经网络(Convolutional Neural Networks,CNNs)在图像分类、检测和分割等方面的优势吸引了更多的研究兴趣。为了从图像中提取更多的特征，深度CNNs正在变得越来越深。一方面，提高了神经网络在图像识别任务中的准确率；另一方面，对计算和存储资源的需求也在不断增长。用于训练和推理的GPU设备的开销限制了复杂模型的使用，更不用说资源受限的边缘设备，如便携式移动设备和可穿戴设备等。以往的研究表明，深度网络存在大量冗余。虽然这些冗余参数保证了模型结构的均匀性，但这些过多的参数增加了网络的空间和时间复杂度，对网络应用带来的负面影响大于对精度的正面影响。因此，为了防止最先进的CNNs不能部署在资源受限的设备上，各种网络压缩方法被开发出来，用于在冗余参数、模型运行时间和准确性之间进行折衷选择。

网络剪枝作为最常用的模型压缩方法，在主流硬件上得到了很好的应用，其目的是去除CNNs的冗余权值或过滤器，以及它们的相关计算，生成更紧凑的子网。其中过滤器剪枝的问题核心在于如何量化衡量网络中过滤器的重要性。总的来说，过滤器剪枝到目前为止仍然是一个未解决的问题。一方面，我们追求更高的剪枝率，另一方面，我们受到机器运算时间、人力、以及随着剪枝率提高精度损失也随之提高的限制。我们将这些问题归因于缺乏关于过滤器重要性和冗余的实践或理论指导。

发明内容

为解决现有技术存在的问题，本发明提供了一种基于特征图的神经网络剪枝方法，在提高剪枝率的同时保证了模型精度。

一种基于特征图的神经网络剪枝方法，包括以下步骤：

(1)对于待剪枝的神经网络模型，准备图像的训练数据集进行训练，得到预训练好的模型权重；

(2)定义拓扑洞为衡量特征图信息量的标量，根据拓扑洞的计数标准，对预训练好的卷积神经网络输入数据I，计算每一层L_i不同通道对应的拓扑洞值

(3)为该神经网络的每一层L_i设置剪枝率P_i∈[0,1)，并根据每一层的原始输出通道数N_i+1，确定剪枝后的模型每一层输出通道数为N_i+1×(1-P_i)；

(4)凭借拓扑洞值及剪枝率P_i对神经网络剪枝得到剪枝后的网络；

(5)剪枝后的神经网络在相同训练数据集下进行重训练，以恢复损失精度；

(6)利用剪枝后神经网络进行应用，将待识别的图像输入剪枝后的神经网络，得到图像中不同物体的类别。

本发明的方法聚焦于过滤器对应的特征图，与此同时，定义了一个新的标量拓扑洞用以衡量特征图所含信息量的多少。在该方法在剪枝过程中，采用预训练模型的拓扑洞值作为衡量卷积神经网络各层过滤器重要性的依据，对模型进行一次性剪枝，缩短了剪枝的时间。经过实验证明，基于特征图的拓扑洞神经网络剪枝方法在剪枝率提高与模型精度损失中取得了很好的折衷，有效缓解了传统剪枝算法中剪枝率提高对模型精度的影响。