[发明专利]一种基于通道L1范数剪枝的神经网络压缩方法

说明书

本发明公开了一种基于通道L1范数剪枝的神经网络压缩方法，属于计算、推算或计数的技术领域。该方法在外部数据集上训练卷积神经网络后获取该网络的初始化权值参数；在卷积核通道方向上根据参数group将待剪枝卷积层的权值参数分为n个组，并分别求取每个组的L1范数；根据一定的阈值对L1范数大于阈值的组内权值进行剪枝，对L1范数小于阈值的组内权值予以保留并参与再训练。本发明在保证参数的特征提取能力不被压缩的同时在一定程度上减小剪枝对最终目标检测准确率的影响，解决了剪枝后准确率下降过多以及硬件实现难度大的问题。

技术领域

本发明公开了一种基于通道L1范数剪枝的神经网络压缩方法，涉及人工智能神经网络技术，属于计算、推算、计数的技术领域。

背景技术

近年来，随着计算能力的提升、大数据的积累和学习算法的进步，以深度神经网络(Deep Neural Network，简称DNN)为代表的深度学习已经逐步取代传统机器学习算法，大量的实践应用于自然语言处理、目标检测识别和数据挖掘等诸多领域，成为当今人工智能领域最主要的研究热点。深度学习的成功很大程度上依赖于庞大的数据集和高达数百万的参数，但是无论是推断过程还是训练过程都需要使用庞大的存储空间和计算资源，同时还会消耗大量的能量，因此催生了对神经网络模型剪枝压缩的研究。对庞大的参数模型进行剪枝压缩，以剪枝后精简的权重参数取代冗余的全部参数为深度神经网络在手机等嵌入式终端设备的应用创造了可能。

现有的剪枝压缩方法主要采用的策略是将卷积神经网络中冗余的参数挑选出来，让这些冗余的参数不参与之后的梯度更新或直接置0，实现网络运算计算量的减少和存储空间的节省。其中，传统通道剪枝、中位数卷积核剪枝等方法虽然可以保持剪枝后的较高准确率，但剪枝率过于固定而且压缩率小，使得其无法根据人们对不同硬件压缩率需求的不同来进行调整，不利于嵌入式终端设备的应用。

深度神经网络的训练本身都已耗费大量的运算资源和时间，庞大的参数矩阵的形成及更新更是需要较大的计算资源和时间才能实现，而且庞大的参数模型无法有效地应用于一些小型化的嵌入式终端设备。而普通的剪枝压缩方法虽然可以有效解决计算资源和时间花费较大的问题，但却牺牲了网络模型的分类精度。对卷积核的L1范数进行判断剪枝的优化方案虽然能够实现有效压缩和快速计算，但是没有考虑到通道方向才是可以去除冗余的最佳选择。而采用对通道卷积核权重分布进行调整的剪枝方法虽然能够去除冗余，但是对网络结构缺乏处理，没有对不同层的不同通道状况进行分析比较。此外，上述剪枝方法的压缩率大都在得到预训练模型的时候就已经固定，使得我们无法根据实际的硬件情况调整网络的压缩率，从而限制了这些剪枝方法的应用范围。本申请旨在为了更好地解决在剪枝压缩后的精度下降问题和并实现压缩率的自我调整，提供了一种基于通道L1范数剪枝的神经网络压缩方案。

发明内容

本发明的发明目的是针对上述背景技术的不足，提供了一种基于通道L1范数剪枝的神经网络压缩方法，将预训练的网络模型剪枝成为精简压缩模型，充分减小剪枝对分类准确率下降这一影响的同时加入了压缩率可根据实际硬件需求自行调整的选项，降低了网络模型在硬件上应用的复杂度，解决了现有剪枝压缩方法压缩率固定和神经网络精度下降大且硬件实现难度大的技术问题。

本发明为实现上述发明目的采用如下技术方案：

一种基于通道L1范数剪枝的神经网络压缩方法，包括如下步骤：

步骤1，根据网络资源库公开的数据集和网络模型，自行调整参数并在数据集上对卷积神经网络进行训练，对得到的权值参数进行测试并调整网络模型和参数，使训练出的模型达到目标准确率，获取高精度下的权值参数；

步骤2，对于初始化的权值参数，根据每层剪枝后对准确率下降敏感的程度由大到小来确定剪枝重训练的先后顺序，依此敏感度将卷积层分为互斥的两组，其中，敏感度小的那组卷积层的权值保持不变，对敏感度大的那组卷积层的权值进行基于通道L1范数的分组剪枝；