[发明专利]深度卷积神经网络的压缩方法及系统

权利要求书

1.一种深度卷积神经网络的压缩方法，其特征在于，所述压缩方法包括：

根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；

对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；

根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；

基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；

利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。

2.根据权利要求1所述的深度卷积神经网络的压缩方法，其特征在于，所述根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器，具体包括：

根据卷积层滤波器权值的L₂范数值，确定待压缩深度卷积神经网络中不重要的滤波器。

3.根据权利要求2所述的深度卷积神经网络的压缩方法，其特征在于，所述根据卷积层滤波器权值的L₂范数值，确定待压缩深度卷积神经网络中不重要的滤波器，具体包括：

根据以下公式，计算滤波器权值的L₂范数值：

其中，表示卷积层l第j个滤波器L₂范数值，表示卷积层l第j个滤波器权值，||·||₂表示L₂范数算子；

将卷积层l中所有滤波器L₂范数值组成一重要性得分向量IS^(l)：

其中，IS^(l)为卷积层l滤波器重要性得分向量，c^(l)为卷积层滤波器数目；

通过对重要性得分向量进行排序，确定重要性得分最小的sr*c^(l)个滤波器为不重要的滤波器，构成不重要性滤波器参数集Θ^s，其中，sr为卷积层稀疏率。

4.根据权利要求1所述的深度卷积神经网络的压缩方法，其特征在于，根据以下公式，得到优化损失函数：

s^(l)＝sr*c^(l)；

其中，Loss表示优化损失函数，表示全部训练数据集，x,y为成对训练数据，且l(·)表示标准损失函数，表示网络前向函数，Θ表示待压缩深度卷积神经网络的参数集；Θ^s表示不重要性滤波器的参数集，表示正则项函数，L表示卷积神经网络模型卷积层数目，W^(l)表示卷积层l中滤波器权值，表示卷积层l第j个滤波器权值，||·||₂表示L₂范数算子，||·||_2,1表示矩阵的L₂₁范数算子，S^(l)表示卷积层l被选择稀疏的滤波器数目，sr为卷积层稀疏率；λ表示渐进式的稀疏惩罚因子，能够通过阶梯式函数、线性式函数、指数式函数和正弦式函数中任意一者增长方式确定。

5.根据权利要求4所述的深度卷积神经网络的压缩方法，其特征在于，通过正弦式函数增长方式确定渐进式的稀疏惩罚因子λ，具体包括：

其中，λ(t)为迭代次数t时的惩罚因子，λ_max为惩罚因子的幅值，T为总迭代次数。