[发明专利]深度神经网络压缩方法、系统、储存介质及计算机设备

说明书

本发明提出了一种深度神经网络压缩方法、系统、储存介质及计算机设备，方法部分通过对卷积层进行通道裁剪，对全连接层参数进行迭代剪枝及线性量化，可以实现很好的压缩效果，而且模型的精度损失较小。在相同的压缩水平下，迭代剪枝能有效降低剪枝带来的模型精度损失，而经过迭代剪枝基础上进一步进行线性量化，还在有效控制模型精度损失的同时降低参数容量。

技术领域

本发明涉及电力智能巡检技术领域，具体涉及变电设备缺陷人工智能图像识别技术领域，更具体地，涉及一种深度神经网络压缩方法、系统、储存介质及计算机设备。

背景技术

目前，在电力智能巡检中运用深度学习神经网络对电力设备的故障缺陷进行智能识别已经成为一种趋势。但是，深度神经网络包含庞大的参数，而且计算流程复杂。卷积神经网络计算量集中在卷积层，参数集中在全连接层。对于电力智能巡检而言，在应用这些网络时，计算和存储都需要消耗大量的资源，而且对进行计算的设备有很高的要求，因此有必要对训练好的深度学习神经网络进行压缩简化。

现有技术主要通过模型剪枝及参数量化等方法来实现神经网络的简化，传统模型剪枝主要通过阈值比较的方式，如公开时间为2020.07.07，公开号为CN111382839A的中国专利：剪枝神经网络的方法和装置所示，通过设定一个大于零的阈值，将模型参数的绝对值与阈值比较，绝对值小于阈值的参数置零，绝对值大于该阈值的参数保持不变，然后再对模型进行重新训练，恢复模型精度。而参数量化即试图降低神经网络中参数的精度或使用更低位宽的数据类型来代替。这些传统的压缩方法可以减少模型的参数，降低模型的计算量，但同时会给模型带来较大的精度损失。

发明内容

针对现有技术的局限，本发明提出一种深度神经网络压缩方法、系统、储存介质及计算机设备，本发明采用的技术方案是：

一种深度神经网络压缩方法，所述深度神经网络压缩方法对压缩对象的卷积层以及全连接层分别进行压缩；

其中，对所述卷积层进行压缩的过程包括以下步骤：

根据所述卷积层中特征图对应的通道的重要性，进行通道裁剪；

对所述全连接层进行压缩的过程包括以下步骤：

对所述全连接层的参数进行迭代剪枝；

对迭代剪枝后的全连接层的参数进行线性量化。

相较于现有技术，本发明通过对卷积层进行通道裁剪，对全连接层参数进行迭代剪枝及线性量化，可以实现很好的压缩效果，而且模型的精度损失较小。在相同的压缩水平下，迭代剪枝能有效降低剪枝带来的模型精度损失，而经过迭代剪枝基础上进一步进行线性量化，还在有效控制模型精度损失的同时降低参数容量。

作为一种优选方案，根据所述卷积层中特征图对应的通道的重要性，进行通道裁剪，包括以下步骤：

获取所述卷积层中各特征图对应通道的滤波器参数绝对值之和；

对所述滤波器参数绝对值之和最小的通道进行裁剪。

作为一种优选方案，在所述迭代剪枝的各迭代次数中，包括以下步骤：

根据当前迭代次数预设的剪枝阈值，对所述全连接层的参数进行剪枝，使所述全连接层的剪枝比到达当前迭代次数预设的阶段剪枝比；

对当前迭代次数中的剪枝结果进行微调训练。

进一步的，所述阶段剪枝比以预设的目标剪枝比为终点，随迭代次数的增加非线性扩大；当前阶段剪枝比所在的迭代次数越大，当前阶段剪枝比相较于上一迭代次数中的阶段剪枝比的增幅越小。

作为一种优选的方案，所述阶段剪枝比按以下公式获得：