[发明专利]一种基于增量正则化的神经网络结构化稀疏方法

摘要

本发明公开了一种基于增量正则化的神经网络结构化稀疏方法。在进行神经网络模型的剪枝时，根据各个权重组的相对重要性，逐步将不同的正则化增量分配给不同的权重组，然后不断迭代更新各个权重组的正则化因子，当某个权重组的正则化因子达到指定的正则化上限时，网络中相应的权重将被永久删除，从而增加网络模型的结构化稀疏度。当某一层的稀疏度达到预先设定的稀疏率时，该层自动停止剪枝，直到所有层完成剪枝。最后对整个网络进行重训练以回调准确率，当模型的准确率不再上升时，停止重训练，得到稀疏模型。该发明使得大型的深度学习模型能够部署在移动和嵌入式设备上，并获得显著的实际加速效果，推动了深度学习算法在移动端的应用。

主权项

1.一种基于增量正则化的神经网络结构化稀疏方法，其特征在于，具体包括以下步骤：(1)对于待稀疏的神经网络模型，准备训练的数据集、网络结构配置文件、训练过程配置文件，所使用的数据集、网络结构配置、训练过程配置均与原训练方法保持一致；(2)正则化增量剪枝(2.1)对于模型的各个卷积层，通过四维张量W_N*C*H*W对其进行建模，其中N表示卷积核的个数，C表示卷积核的通道数，H、W分别表示卷积核的高和宽；(2.2)使用张量展开方式，将该层中的四维权值张量W_N*C*H*W展开为二维的W′_N*(C*H*W)形式；并将W′的每一行或者每一列参数组合成一个独立的参数组g；(2.3)根据对模型指定的压缩或加速比例，确定网络模型各层所需设定的目标稀疏率；(2.4)对于所有参数组设置统一的正则化上限target_reg，然后为每个独立参数组分配正则化因子λ_g并将所有的λ_g初始化为0，开始剪枝；(2.5)在剪枝过程中，根据各个参数组g的相对重要性不同，逐步将不同的正则化增量Δλ_g分配给不同的参数组；(2.6)不断迭代更新各个参数组的正则化因子λ_g，得到该参数组新的正则化因子当达到正则化上限target_reg时，该参数组的权重将被永久删除；(2.7)当某一层的稀疏度达到预先指定的稀疏率时，该层自动停止正则化剪枝，直到所有层达到其预先设定的稀疏率时，结束剪枝，获得稀疏模型；(3)对稀疏后的模型进行重训练，固定已经删除的权重不再更新，而其他参数进行网络的迭代训练，当再训练模型准确率不再上升时，停止重训练，得到稀疏后的神经网络模型。