[发明专利]通道全局排序指导剪枝和量化联合的神经网络压缩方法

权利要求书

1.一种通道全局排序指导剪枝和量化联合的卷积神经网络压缩方法，其特征在于，包括如下步骤：

(1)获取训练样本集和测试样本集：

获取包括M个目标类别且每个类别包含N幅RGB图像的数据集X，并对每幅RGB图像中的图像类别进行标注，然后随机选取数据集X中每类别包含的N₀幅图像，并将所选取的共MN₀幅RGB图像及其标签组成训练样本集X_train，将剩余的M(N-N₀)幅RGB图像及其标签组成测试样本集X_test，其中M≥10，N≥6000，N₀≥0.8N；

(2)构建图像分类卷积神经网络模型O并对其进行迭代训练：

构建包括顺次连接的二维卷积层、批归一化层、分段线性激活层、多个残差单元模块、自适应平均池化层、全连接层和softmax激活函数层的图像分类卷积神经网络模型O；第一残差单元模块包括顺次连接的卷积模块和分段线性激活层，且卷积模块的输入与分段线性激活层跳跃连接；第二残差单元模块包括并行排布的卷积模块和平均池化层，以及与卷积模块和平均池化层的输出端连接的分段线性激活层；卷积模块包括多个二维卷积层、多个批归一化层和一个分段线性激活层；其中二维卷积层和分段线性激活层的总数均为L，L≥55，每个二维卷积层包括I个通道，I≥16；

(3)对图像分类卷积神经网络模型进行迭代训练：

(3a)初始化迭代次数为e，最大迭代次数为E，E≥600,第e次迭代图像分类卷积神经网络模型的权值参数为θ_e，并令e＝0；

(3b)将训练样本集X_train作为O的输入，对每个训练样本进行特征提取，得到MN₀个特征图，并对每幅特征图中的目标进行分类，得到每个训练样本的分类结果

(3c)采用交叉熵损失函数并通过每个训练样本的分类结果及其对应的标签计算O的损失值再采用随机梯度下降法，通过对权值参数θ_e的偏导值对θ_e进行更新，得到本次迭代的图像分类卷积神经网络模型O_e；

(3d)判断e≥E是否成立，若是，得到训练好的图像分类卷积神经网络模型否则，令e＝e+1，O_e＝O，并执行步骤(3b)；

(4)计算训练好的图像分类卷积神经网络模型中所有通道的重要性得分并对图像分类卷积神经网络模型进行剪枝和量化：

(4a)将从训练样本集X_train中随机选取的MN₁个训练样本及其标签组成的秩生成样本集X_choose作为的输入，并使用钩子Hook函数提取中输入第c幅图像时每个二维卷积层的每个通道的特征图再对进行奇异值分解，得到输入时每个通道的秩然后根据计算每个通道的平均秩后保存，其中，N₁≥0.01N₀，1≤l≤L，1≤i≤I；

(4b)通过每个通道的平均秩计算该通道的重要性得分并对训练好的图像分类卷积神经网络模型中重要性得分最低的ρ个通道进行删除，获得剪枝率为Ω的剪枝后的图像分类卷积神经网络模型，其中，a_l、b_l分别表示中可优化的伸缩变量、偏移变量；

(4c)通过每个二维卷积层的I个通道组成的稀疏掩模计算该二维卷积层的稀疏性S_l＝||Ψ_l||₀，并根据S_l计算每个二维卷积层的权重量化位宽和每个分段线性激活层量化位宽

其中，表示通道被删除，表示通道未删除，||·||₀表示L1范数，表示向上取整操作，是第l个二维卷积层的权重量化位宽上界，是第l个分段线性激活层所需的激活量化位宽上界，p表示惩罚因子；

(4d)根据每个二维卷积层的权重量化位宽和每个分段线性激活层量化位宽对剪枝后的图像分类卷积神经网络模型中每个二维卷积层的权重向量W_l进行量化，同时替换每个分段线性激活层的激活函数，得到量化后权重向量为分段线性激活层的激活函数为的剪枝量化后的图像分类卷积神经网络模型

(5)对剪枝量化后的图像分类卷积神经网络模型重新进行剪枝并更新权重、激活层量化位宽：

通过遗传进化算法对中可优化的伸缩变量a_l、偏移变量b_l进行优化，并通过a_l、b_l的优化结果a_l^*、b_l^*和每个通道的平均秩重新计算每个通道的重要性得分，然后按重新计算的所有通道的重要性得分对剪枝量化后的图像分类卷积神经网络模型重新进行剪枝并更新的权重、激活层量化位宽，得到更新的剪枝量化后的图像分类卷积神经网络模型

(6)获取图像分类卷积神经网络的压缩结果：

对更新的剪枝量化后的图像分类卷积神经网络模型的权值参数进行微调，获得压缩后的图像分类卷积神经网络模型