[发明专利]一种基于结构化剪枝的高效图像分类方法

权利要求书

1.一种基于结构化剪枝的高效图像分类方法，其特征在于，具体包括以下步骤：

(1)获取图像的训练集和测试集，对训练集和测试集中的图像进行类别标注；

(2)对所有训练集和测试集中的图像进行预处理操作；

(3)采用预训练好的神经网络模型作为原始的图像分类器，然后将步骤(2)预处理后的图像批量送入神经网络，进行迭代训练，在训练的过程中对原始网络模型进行修剪，剪枝主要包含以下步骤：

(3.1)对于模型的各个卷积层，对四维权值张量W_N*C*H*W进行建模，其中N表示卷积核的个数，C表示卷积核的通道数，H、W分别表示卷积核的高和卷积核的宽；

(3.2)根据H和W的空间维度划分卷积核的权重组，将某一卷积层内所有卷积核的所有通道中相同空间位置的权重作为一个独立的权重组g；

(3.3)根据用户对模型设定的压缩或加速比例，确定网络模型各层所需设定的目标稀疏率，并对所有权重组设置统一的正则化上限target_reg，为每个独立的权重组分配正则化因子λ_g并将所有的λ_g初始化为0；

(3.4)为网络权重矩阵中的每个权重组设定稀疏的重要性标准，并根据该标准对各个权重组进行升序排序，得到各权重组的重要性排名；

(3.5)根据各个权重组g的相对重要性不同，逐步将不同的正则化增量Δλ_g分配给不同的权重组，并不断迭代更新各个权重组的正则化因子λ_g，直到某个权重组的正则化因子λ_g达到预先设定的正则化上限target_reg时，该权重组的权重将被永久删除；

(3.6)通过空间正则化的方法对空间剪枝所得到的不规则形状的稀疏卷积核进行重塑，使其变为规则的稀疏卷积核；

(3.7)对输入特征图中与规则稀疏卷积核中已删除权重相同方向上的像素进行裁剪，保证输出特征图的大小不变；

(3.8)当某一层的稀疏度达到预先指定的稀疏率时，该层自动停止正则化剪枝，直到所有层达到其预先设定的稀疏率时，结束剪枝；

(4)对剪枝后的网络模型进行重训练，固定已经删除的权重不再更新，而其他参数进行网络的迭代训练，当再训练模型准确率不再上升时，停止重训练，输出稀疏网络模型；

(5)将稀疏网络模型作为新的图像分类器，然后通过对测试集类别标签的预测进行新图像的分类。

2.根据权利要求1所述的一种基于结构化剪枝的高效图像分类方法，其特征在于，所述步骤(2)中，预处理操作具体为，首先将所有图像的尺寸进行统一，通过resize操作使其变换为224×224，然后进行图像的去均值，对于待训练的每一张图片特征都减去全部训练集图像的特征均值，最后通过归一化操作将图像的各个特征尺度控制在相同的范围内。

3.根据权利要求1所述的一种基于结构化剪枝的高效图像分类方法，其特征在于，所述步骤(3.2)的具体流程为，根据四维权值张量中卷积核的高H和宽W两个维度对权重组进行划分，将所有卷积核的所有通道中同一空间位置的权重(N,C,:,:)组合成一个独立的权重组，因此共有H*W个权重组。

4.根据权利要求1所述的一种基于结构化剪枝的高效图像分类方法，其特征在于，所述步骤(3.3)中确定网络模型各层所需设定的目标稀疏率具体为，在设定模型的参数压缩比例时，首先计算模型中各个参数层的参数量N*C*H*W以及模型的总参数量P,得到模型各层参数量占总参数量的比例α_l，然后利用设定的参数压缩比计算该模型需要减少的参数量P′，并通过α_l*P′得到各参数层所需减少的参数量P_l'，从而得到网络模型各层所需设定的目标稀疏率，同理，在指定模型的加速比例时，先计算模型各个参数层的浮点操作次数FLOPs以及该模型总的FLOPs，然后根据指定的加速比例来确定该模型需要减少的FLOPs，并通过计算得到各层所需减少的FLOPs，从而确定各层的目标稀疏率。