[发明专利]一种基于伪孪生网络的网络剪枝方法

摘要

本发明属于神经网络模型压缩技术领域，具体为一种基于伪孪生网络的网络剪枝方法。本发明在传统的三值神经网络的基础上，提出了一种通用的裁剪大型卷积神经网络中冗余连接的方法，具体为：构造一个与被裁减网络N一样架构的三值网络Ternary‑N，用相同的图片进行每一步的训练，训练过程中采用知识蒸馏算法，训练完成后用Ternary‑N中的权值对N中相对应位置的权重进行裁剪，最后对N进行微调，微调后的网络连接数相比于原网络大大减少。

主权项

1.一种基于伪孪生网络的网络剪枝方法，其特征在于，包括以下步骤：S1、根据被剪枝的目标网络，构建一个伪孪生网络，所述伪孪生网络的网络权重为三值；S2、读取训练样本，采用随机梯度下降法对目标网络进行训练，设目标网络的输出为T(i)，目标网络的代价函数是：其中，n是类别数目，L(i)是目标的真实分布；采用目标网络的输出T(i)对目标网络的权重进行更新；采用相同的训练样本对伪孪生网络进行训练，设伪孪生网络的输出为S(i)，伪孪生网络的代价函数是：采用L_s更新伪孪生网络中的三元权重；训练过程在L_t和L_s都收敛的时候结束，并保存目标网络和伪孪生网络的权重；S3、以伪孪生网络为模板，对目标网络进行裁剪：将目标网络的卷积核的绝对值和伪孪生网络中的卷积核相乘得到一个新的卷积核，裁剪这个卷积核中权值为0的部分，并用这个裁剪后的新的卷积核替代目标网络中的卷积核。