[发明专利]步进式卷积神经网络剪枝压缩方法

权利要求书

1.一种步进式卷积神经网络剪枝压缩方法，其特征在于，包括：利用GPU计算卷积神经网络模型中每一层神经元的L1范数和方差；根据每一层神经元的L1范数和方差估计每一个神经元当前时刻的重要性；对于满足公式的神经元，第一次将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；卷积神经网络进行m次迭代训练后，重新计算当前神经元和第一次被置零的神经元的L1范数和方差；根据重新计算的L1范数和方差对神经元进行重新评估；若当前神经元满足公式则将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；若第一次被置零的神经元满足公式则将其恢复成原来的数值同时激活相同位置反向传递的误差项；重新评估后的满足公式的神经元参加下一轮的m次迭代；重复上述过程n次，使学习率随迭代步数进行阶梯式衰减。

2.根据权利要求1所述的步进式卷积神经网络剪枝压缩方法，其特征在于，所述m次迭代是人工设置的迭代次数。

3.根据权利要求1所述的步进式卷积神经网络剪枝压缩方法，其特征在于，所述公式和公式的α,β为超参数，所述超参数是根据数据分布和训练框架和方式得到的参数，用于控制压缩的效率以及训练的收敛速度，当α＝0.8,β＝1.1时压缩效率与收敛速度可以达到较好的平衡。