[发明专利]基于通道重要性剪枝与二值量化的图像分类系统

说明书

一种基于通道重要性剪枝与二值量化的图像分类系统，包括训练模块，用于训练初始复杂神经网络的权重参数，得到训练后的复杂神经网络模型；压缩模块，用于对训练后的复杂神经网络模型重复进行基于通道重要性的网络剪枝与恢复性训练，在保证精度的前提下，得到初步压缩的神经网络模型；接着对初步压缩的神经网络模型进行二值量化，从而得到精简的神经网络模型；分类模块，用于将压缩后的神经网络模型，用于对目标图像进行图像分类。本发明缩小神经网络的模型体积，提高运行速度。

技术领域

本发明涉及机器学习和图像分类技术领域，尤其是涉及一种基于通道重要性剪枝与二值量化的图像分类系统。

背景技术

神经网络是一种深度监督学习下的机器学习模型，通过组合低层特征逐步提取图像的高级特征，在计算机视觉，包括图像分类、物体识别、语义分割与目标跟踪等领域中，得到广泛应用。但是，神经网络需要庞大的存储空间与计算资源，这极大的限制了深度神经网络在资源受限的边缘平台上的应用。

近些年来，神经网络的压缩与加速逐渐称为研究热点，其中，网络剪枝通过剪枝掉神经网络中重要性较低的通道或卷积核，从而实现网络参数的压缩与推理速度的提升；二值量化通过将浮点参数量化为{-1，+1}，并将卷积运算替换成加法运算，从而缩小网络体积，提升计算速率。

现有图像分类方法使用神经网络存在内存占用与计算量过大的弊端。

发明内容

为了克服图像分类方法使用神经网络内存占用与计算量过大的不足，本发明提出了一种基于通道重要性剪枝与二值量化的图像分类方法，缩小神经网络的模型体积，提高运行速度。

为了解决上述技术问题本发明提供如下的技术方案：

一种基于通道重要性剪枝与二值量化的图像分类系统，所述图像分类系统包括：

训练模块，用于训练初始复杂神经网络的权重参数，得到训练后的复杂神经网络模型；

压缩模块，用于对训练后的复杂神经网络模型重复进行基于通道重要性的网络剪枝与恢复性训练，在保证精度的前提下，得到初步压缩的神经网络模型；接着对初步压缩的神经网络模型进行二值量化，从而得到精简的神经网络模型；

分类模块，用于将压缩后的神经网络模型，用于对目标图像进行图像分类。

进一步，所述压缩模块中，依据神经网络中各个通道重要性对神经网络进行剪枝，剔除冗杂通道；通过恢复性训练，减少因网络剪枝造成的性能下降，并反复进行剪枝、恢复性训练，得到精简的神经网络；对剪枝后的精简网络进行二值量化，并利用正则函数项与“热身”策略，减少量化过程的误差波动，进而得到极致压缩的神经网络。

再进一步，依据神经网络中各个通道重要性对神经网络进行剪枝，剔除冗杂通道，过程为：

神经网络中，各通道的重要性计算方法为：

其中，为l层α通道的重要性，为与l层α通道相连的m个输入层卷积核权重绝对值的和，为与l层α通道相连的n个输出层卷积核权重绝对值的和，为m个输入层卷积核权重参数的数量，为n个输出层卷积核权重参数的数量。

再进一步，对剪枝后的神经网络进行二值量化，并利用正则函数项与“热身”策略，减少量化过程的误差波动，进而得到极致压缩的神经网络，其中，精心设计的正则函数项为：

其中，J(W₁,W_l,b)为设计的正则函数项，W₁为第1层全精度卷积核权重，W_l为第l层卷积核权重，L(W₁,W_l^b,b)为神经网络的损失函数，为第1层全精度卷积核权重的L2范数，为第l层权重的正则函数项，α,β为正则项参数；