[发明专利]一种基于随机敏感度ST-SM的深度神经网络剪枝方法及系统

权利要求书

1.一种基于随机敏感度ST-SM的深度神经网络剪枝方法，其特征在于，所述方法包括如下步骤：

步骤1，利用随机敏感度衡量剪除节点对后继层输出的影响、挑选需要剪除的节点，以减少剪枝过程对网络性能的损害；

步骤2，利用权重补偿重建被剪枝层的节点输出，以减少剪枝过程中的模型性能退化，用训练集样本构造补偿权重需满足的方程组，通过共轭梯度预处理正则方程CGPCNE方法解出该方程组，得到补偿权重值，并对剩余节点权重进行补偿；

步骤3，利用重训练改善剪枝后模型的性能。

2.根据权利要求1所述的一种基于随机敏感度ST-SM的深度神经网络剪枝方法，其特征在于，

所述步骤1进一步包括：采用随机敏感度衡量剪除该节点对后继层输出的影响。

对深度神经网络模型进行权重扰动，设被剪枝层为深度神经网络中的第i层，则对后继层输出的影响可定义为扰动前后，第i+1层输出的变化量，即

ΔY_i+1＝Y′_i+1-Y_i+1#(1)

其中Y_i+1表示进行扰动前第i+1层的输出向量，Y′_i+1表示扰动后的输出向量；

随机敏感度定义为扰动前后，第i+1层输出变化量平方的期望在训练集的所有N个样本上的平均值，即

其中和分别表示代入训练集样本x_b后，得到的扰动前和扰动后的输出向量，由于期望无法直接求得，需要通过随机采样的方式来估计随机敏感度ST-SM的值，构造权重扰动向量

其中N_i+1为第i+1层的节点数量，表示当中的N_i+1个分量，p表示要对第i层的第p个节点进行扰动，扰动向量的各个分量随机采样自同一个均值为0的均匀分布，将扰动向量加到原权重上

w^p′＝w^p+Δw^p#(4)

得到扰动后的权重w^p′，随机采样共进行h次，h为预先定义的超参数，取h次的平均结果作为估计值

通过此种方法，即可求得第i层中每一个节点的随机敏感度ST-SM，将所有的节点根据随机敏感度ST-SM值从小到大排序，随机敏感度ST-SM值小的节点被删除，直到该层的剪枝比例达到要求。

3.根据权利要求1或2所述的一种基于随机敏感度的深度神经网络剪枝方法，其特征在于，

所述步骤2进一步包括：对经过剪枝的层，进行权重补偿以重新构建其原有输出，所述权重补偿的核心思想是，构造权重补偿向量，使得权重补偿向量带来的输出变化量，能够抵消被剪节点的原有输出，以保证后续各层接收到的输入不变。

对于全连接网络，设被剪枝的是第i层的第k个节点，对第i+1层，其接收到的原有输入为

X_i+1＝Y_iw_i#(6)

此处Y_i表示第i层原有的输出向量，W_i表示第i层原有的权重矩阵，其中，被剪掉的节点k贡献的部分为

第i层剩余各节点共同贡献的部分为

此处N_i表示第i层原有节点的数量；则若要利用权重补偿，让第i+1层接收到的输出不变，第i层需满足

即需要令剩余各节点在经过补偿后，其输出与原来相同。表示加到原有权重上的权重补偿向量。等式(9)的左边为剪枝后，剩余各节点经过补偿后的输出之和；右边为剪枝前，第i层所有节点的输出之和。

由于剩余节点原有权重贡献的输出不变，且同时被等式两边所包含，上式可化简为

以上为一次仅剪去单个节点的情况。考虑多个节点被剪去的情况，设有K个节点被剪去，则该式可表示为

上式中，已知，和在给定输入样本时也可求得，进而可求得权重补偿向量因此可通过训练集样本构造方程组，用共轭梯度预处理正则方程法(CGPCNE)计算出拟合该方程组的权重补偿向量将计算出的加到剩余节点的权重上，即可完成补偿过程。