[发明专利]基于通道重要性剪枝与二值量化的图像分类系统

权利要求书

1.一种基于通道重要性剪枝与二值量化的图像分类系统，其特征在于，所述图像分类系统包括：

训练模块，用于训练初始复杂神经网络的权重参数，得到训练后的复杂神经网络模型；

压缩模块，用于对训练后的复杂神经网络模型重复进行基于通道重要性的网络剪枝与恢复性训练，在保证精度的前提下，得到初步压缩的神经网络模型；接着对初步压缩的神经网络模型进行二值量化，从而得到精简的神经网络模型；

分类模块，用于将压缩后的神经网络模型，用于对目标图像进行图像分类。

2.如权利要求1所述的基于通道重要性剪枝与二值量化的图像分类系统，其特征在于，所述压缩模块中，依据神经网络中各个通道重要性对神经网络进行剪枝，剔除冗杂通道；通过恢复性训练，减少因网络剪枝造成的性能下降，并反复进行剪枝、恢复性训练，得到精简的神经网络；对剪枝后的精简网络进行二值量化，并利用正则函数项与“热身”策略，减少量化过程的误差波动，进而得到极致压缩的神经网络。

3.如权利要求2所述的基于通道重要性剪枝与二值量化的图像分类系统，其特征在于，依据神经网络中各个通道重要性对神经网络进行剪枝并剔除冗杂通道的过程为：

神经网络中，各通道的重要性计算方法为：

其中，为l层α通道的重要性，为与l层α通道相连的m个输入层卷积核权重绝对值的和，为与l层α通道相连的n个输出层卷积核权重绝对值的和，为m个输入层卷积核权重参数的数量，为n个输出层卷积核权重参数的数量。

4.如权利要求2所述的基于通道重要性剪枝与二值量化的图像分类系统，其特征在于，对剪枝后的神经网络进行二值量化，并利用正则函数项与“热身”策略，减少量化过程的误差波动，进而得到极致压缩的神经网络，其中，精心设计的正则函数项为：

其中，J(W₁,W_l,b)为设计的正则函数项，W₁为第1层全精度卷积核权重，W_l为第l层卷积核权重，为神经网络的损失函数，为第1层全精度卷积核权重的L2范数，为第l层权重的正则函数项，α,β为正则项参数；

其中，所述“热身”策略通过在训练过程中逐步增加二值权重正则项系数β从而减少训练过程中二值权重的正负翻转，进而减少量化过程中的误差波动，所述正则项系数变化情况为：

其中，β为正则项系数，β₀为正则项系数初始值，[]为向下取整函数，epoch为当前训练步数，Lenth为预设的周期分段长度。