[发明专利]一种粗细粒度联合的神经网络剪枝方法

说明书

本发明公开了一种粗细粒度联合的神经网络剪枝方法，包括：对筛选出的候选滤波器进行组稀疏化训练，一定轮数后，将小于阈值的候选滤波器进行修剪；逐层对卷积核的重要性进行排序，并根据预先定义好的剪枝率逐层获得需要被剪枝的卷积核；以权重为单位，对卷积核进行正则化压缩，并在压缩过程中动态生成满足预先构建的模式判别函数的模式集；将每个卷积核匹配到所述模式集中该卷积核的最优模式；进行卷积核剪枝和模式剪枝；将需要被剪枝的参数置零，对模型进行硬剪枝；结合知识蒸馏方法对硬剪枝后的模型进行再训练和微调，得到剪枝后的最终模型。本发明能够充分发挥结构化和非结构化剪枝的优势，提高模型存储和推理效率，具有更高的硬件友好性。

技术领域

本发明涉及嵌入式AI技术领域，更具体的说是涉及一种粗细粒度联合的神经网络剪枝方法。

背景技术

随着一系列嵌入式设备的出现，考虑到较高的计算和存储需求，执行深度神经网络的推理十分具有很大挑战性。剪枝是目前模型压缩中广泛使用的方法，它通过寻找一种有效的评判手段，来判断参数的重要性，将不重要的参数进行裁剪，以减少模型的冗余。现有的剪枝方法主要包括结构化和非结构化剪枝，非结构化具有精细化和高精度的特点，但对硬件不友好，结构化修剪具有粗粒度和硬件效率高的特点，但精度损失较大。

对于非结构化剪枝，直接将权重置零并不能改变模型大小，也不能减少推理时间，需要用索引对模型进行稀疏编码，辅以特定的矩阵乘法策略。目前已较少聚焦于任意位置的权重裁剪，原因在于虽然任意位置的裁剪会带来更高的净参数压缩比，但索引开销是不可忽略的，且稀疏乘法效率明显低于密集矩阵，因此任意位置的权重修剪无论在参数压缩率还是推理时间，都不再具有优势。最新研究提出了模式剪枝，通过在每个卷积内核修剪一个固定数量的权重，并让剩下的权重集中在一定区域形成特定的内核模式，生成介于非结构化剪枝和结构化剪枝之间的中间稀疏类型，具有更好的硬件适配度。然而，当前的方案将卷积核参数重要性的研究直接应用于模式选择，通过贪心法选取模式，不能使所有卷积核都匹配到最佳模式，且缺乏对采用卷积重要性策略(如强制中心元素不被剪枝)效果的对比实验论证。另有方案通过数学推导了在模型参数固定时对应的最佳模式，但是忽略了参数在训练时的可变性。同时，单次模式生成相比单轮训练需要消耗大量时间成本，逐轮进行的模式生成也是不可取的。

结构化剪枝从维度主要划分为滤波器剪枝、卷积核剪枝。这些方案通过提出一套重要性判断标准，裁剪不重要的滤波器或卷积核。由于修剪可以改变权重矩阵大小，因此可以直接提高推理速度。但目前结构化与非结构化剪枝结合的方法多数是大多将不同剪枝方案串行堆叠在一起，缺乏对剪枝顺序及不同剪枝模式相互影响的分析。

因此，如何提供一种能够充分发挥结构化和非结构化剪枝的优势，提高模型存储和推理效率的粗粒度结构化联合剪枝方法，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种粗细粒度联合的神经网络剪枝方法，能够充分发挥结构化和非结构化剪枝的优势，提高模型存储和推理效率，具有更高的硬件友好性。

为了实现上述目的，本发明采用如下技术方案：

一种粗细粒度联合的神经网络剪枝方法，包括以下步骤：

按照二范数和逐层选出原始模型中需要被剪枝的候选滤波器，并对所述候选滤波器进行组稀疏化训练，一定轮数后，将小于阈值的候选滤波器进行修剪；

按照二范数和逐层对卷积核的重要性进行排序，并根据预先定义好的剪枝率逐层获得需要被剪枝的卷积核；

以权重为单位，对卷积核进行正则化压缩，并在压缩过程中动态生成满足预先构建的模式判别函数的模式集；

将每个卷积核匹配到所述模式集中该卷积核的最优模式；

进行卷积核剪枝和模式剪枝；

将需要被剪枝的参数置零，对模型进行硬剪枝；