[发明专利]一种基于剪枝的卷积神经网络压缩方法、系统及介质

权利要求书

1.一种基于剪枝的卷积神经网络压缩方法，其特征在于，包括以下步骤：

(1)获取训练数据并对训练数据进行预处理，包括随机裁剪、随机垂直翻转以及正则化；

(2)初始化卷积神经网络模型的权重；

(3)计算网络连接的显著度，以显著度的分数作为评估连接重要性的标准，并对显著度进行排序，其中为了减少计算量以加快剪枝过程，采用了泰勒展开式近似分析剪枝对于损失函数带来的影响；

(4)对卷积神经网络进行剪枝，将剪枝定义为优化问题如式(1)所示,

式(1)中l(X,Y；θ)代表训练模型的损失函数，X代表输入数据，Y是对应的标签，θ∈R^m代表模型的参数；剪枝即选择所有连接的子集并从网络中移除参数那么余下的参数记作因此，为了最小化损失函数的增长需要选择合适的c^*；保留top-k的连接，使得网络稀疏化；

(5)训练稀疏化后的卷积神经网络模型，直到模型收敛。

2.根据权利要求1所述的一种基于剪枝的卷积神经网络压缩方法，其特征在于，所述步骤(1)对训练数据进行预处理，具体步骤为：

步骤2.1:对于要使用的数据集划分为训练集和测试集，二者的比例为9:1，同时以数据集的一个批次作为训练样本，使用的批次大小为128，所选取的批次公式如式(2)所示，

式(2)中D代表数据集，x代表输入数据，y是对应的标签，i代表当前批次。

3.根据权利要求1所述的一种基于剪枝的卷积神经网络压缩方法，其特征在于，所述步骤(2)初始化卷积神经网络模型的权重，具体步骤为：

步骤3.1:采用方差初始化方法初始化卷积神经网络模型的权重。

4.根据权利要求1所述的一种基于剪枝的卷积神经网络压缩方法，其特征在于，所述步骤(3)计算网络连接的显著度，以显著度的分数作为评估连接重要性的标准，并对显著度进行排序，具体步骤为：

步骤4.1:用特征图z表示连接k的输出，用可训练的缩放因子g∈{0,1}^m乘以z并用进行后面的计算，当g_i是0的时候，相当于连接k被剪掉，因此可将式(1)改写成优化方程如式(3)所示，

△l_(X,Y)(g)＝|l_(X,Y)(g)-;_(X,Y)(0)| 式(3)

步骤4.2:采用Taylor级数展开式扩展(3)中的l_(X,Y)(0)为方程如式(4)(5)所示，

式(4)中的R_i(g)表示拉格朗日余项，式(5)中的R₁(g)表示一阶展开后的拉格朗日余项。

步骤4.3:结合式(3)和式(5)，可得到优化方程如式(6)所示，

步骤4.4：拉格朗日余项R₁会带来大量的计算，为了节省计算量将其省略，因此显着度分数可以通过反向传播计算得到，对于每个连接c_i∈C，采用S(g_i)作为显著度分数，S(g_i)由式(7)计算得到，

步骤4.5:将显著度分数按从大到小排序。

5.根据权利要求4所述的一种基于剪枝的卷积神经网络压缩方法，其特征在于，所述步骤(4)对卷积神经网络进行剪枝，保留top-k的连接，使得网络稀疏化，具体步骤为：

步骤5.1:预先设定剪枝模型的稀疏级别，其中稀疏级别如式(8)所示，

式(8)中，m代表所有的参数数目，κ代表期望非零的参数数目；

步骤5.2:在给定稀疏度之后，可以任意断开网络模型中的连接并保留绝对值最大的κ％连接。