[发明专利]一种基于增量正则化的神经网络结构化稀疏方法

说明书

本发明公开了一种基于增量正则化的神经网络结构化稀疏方法。在进行神经网络模型的剪枝时，根据各个权重组的相对重要性，逐步将不同的正则化增量分配给不同的权重组，然后不断迭代更新各个权重组的正则化因子，当某个权重组的正则化因子达到指定的正则化上限时，网络中相应的权重将被永久删除，从而增加网络模型的结构化稀疏度。当某一层的稀疏度达到预先设定的稀疏率时，该层自动停止剪枝，直到所有层完成剪枝。最后对整个网络进行重训练以回调准确率，当模型的准确率不再上升时，停止重训练，得到稀疏模型。该发明使得大型的深度学习模型能够部署在移动和嵌入式设备上，并获得显著的实际加速效果，推动了深度学习算法在移动端的应用。

技术领域

本发明涉及神经计算、模式识别、计算机视觉领域，特别涉及神经网络进行权值修剪以增强其泛化能力、降低存储量、加快运行速度的方法。

背景技术

近年来，深度卷积神经网络(Convolutional Neural Network，CNN)利用大量数据学习得到大规模网络，在计算机视觉任务方面取得了显著的成功。然而，CNN通常会产生大量的计算和存储消耗，从而阻碍其在移动和嵌入式设备上的部署。为了解决这一问题，许多研究工作都集中在压缩CNN的规模上。参数修剪作为一种较为有效的方法被用于CNN模型的压缩和加速，其目的在于在可容忍的性能损失范围内消除冗余的模型参数。但是，一般的参数修剪方法可能会产生非结构化的随机连接，从而导致不规则的存储访问发生，使压缩后的网络在硬件平台的实际加速受到影响。为了避免硬件不友好的不规则稀疏性，结构化稀疏被提出并广泛的应用于CNN的加速。

目前，结构化稀疏方法主要包括两种类型。一种是基于重要性的方法，此方法基于一些确定的重要性标准来修剪权重组中的权重。另一种是基于正则化的方法，这种方法增加了权重组正则化项来学习结构化稀疏性。而现有的权重组正则化方法主要侧重于通过正则化的形式来学习结构化稀疏性，却忽略了正则化因子的影响。尤其是这些方法大多倾向于对网络中所有权重组使用较大而且恒定的正则化因子，这就带来了一系列潜在的问题。一方面，通常情况下，不同权重组中所有权重的重要性不一定是相同的，往往是具有较大幅值的权重比具有较小幅值的权重更加重要。所以，为不同权重组分配恒定的正则化因子可能会导致某些相对重要的权值被误删，从而影响模型最终的性能。另一方面，由于CNN的表现力在剪枝时较为脆弱，使得它在刚开始时难以承受较大的惩罚，特别是对于较大的剪枝率和紧凑的网络。

发明内容

为了解决上述传统正则化方法中使用较大且恒定的正则化因子而带来的性能损失问题，以获得更好的模型剪枝效果，本发明提供了一种基于增量正则化的神经网络结构化稀疏方法。该方法在剪枝过程中，根据各个权重组的相对重要性，逐步将不同的正则化增量分配给不同的权重组，其中越不重要的权重组分配到的正则化增量越大，使各个权重组能够学习到不同的结构化稀疏性，解决了传统算法中由于不同权重组分配恒定正则化因子而带来重要权重被误删，进而影响模型性能的问题。同时，该方法在进行剪枝时，首先将所有的正则化因子初始化为0，然后基于各个权重组的相对重要性，采用渐进式更新的方法逐步增加正则化因子，解决了传统算法中由于CNN的表现力弱而在剪枝开始时难以承受较大惩罚的问题，从而减少模型的性能损失。尤其是面对较大的剪枝率和紧凑的网络，该方法可以获得更好的剪枝效果。最后，该方法采用所有卷积层同时而又独立剪枝的方式，既缩短了剪枝和再训练的时间，又使得剪枝过程中各个卷积层间的剪枝不受相互的影响。

本发明的目的可以通过以下的技术方法实现：一种基于增量正则化的神经网络结构化稀疏方法，具体包括以下步骤：

(1)对于待稀疏的神经网络模型，准备训练的数据集、网络结构配置文件、训练过程配置文件，所使用的数据集、网络结构配置、训练过程配置均与原训练方法保持一致；

(2)正则化增量剪枝

(2.1)对于模型的各个卷积层，通过四维张量W_N*C*H*W对其进行建模，其中N表示卷积核的个数，C表示卷积核的通道数，H、W分别表示卷积核的高和宽；