[发明专利]一种基于自适应批规范化的神经网络模型剪枝方法及系统

说明书

本发明公开了一种基于自适应批规范化的神经网络模型剪枝方法及系统，随机采样浮点数作为每层的剪枝率，在预设计算资源的限制下，生成剪枝率向量(rsubgt;1/subgt;，rsubgt;2/subgt;，...，rsubgt;L/subgt;)作为剪枝策略，基于该剪枝策略对模型分别进行剪枝后构成的剪枝模型候选集；对候选集中的剪枝模型分别利用自适应批规范化方法，更新其批规范化层的统计参数；评估获取更新过统计参数的神经网络模型的分类准确率，将分类准确率最高的模型在训练集上进行微调至收敛后，作为最终的剪枝模型。本发明通过调整批规范化层对候选子网络进行快速而准确的评估，在该快速评估方法中获胜的剪枝策略再进行微调从而获得最终剪枝网络的参数，避免了微调所有剪枝网络所需要的巨大时间消耗，同时准确率也具有优势。

技术领域

本发明涉及神经网络模型剪枝技术领域，具体涉及一种基于自适应批规范化的神经网络模型剪枝方法及系统。

背景技术

神经网络剪枝致力于减少神经网络的计算冗余同时不损失太多的精度。剪枝后的模型通常有更低的能耗、硬件负载，因此对于在嵌入式设备上部署具有很大的意义。然而，如何找到对网络最不重要的部分以最小化剪枝后的精度损失是关键的问题。神经网络的剪枝问题可以被看成是搜索问题，其搜索空间是所有剪枝后的子网络的集合，在该空间中找到准确率最高的子网络是剪枝问题的核心。其中，子网络的评估过程普遍存在于现有的剪枝方法中这个过程可以揭示出子网络的潜在准确率然后将拥有最高潜在准确率的子网络进行微调(fine-tune)得到最优的神经网络模型。现有技术中的神经网络模型剪枝方法，如图1所示，往往需要微调所有剪枝网络，从而判断不同剪枝策略能够达到的最终收敛精度，但是微调的本质是训练若干周期，比较耗费时间。

发明内容

因此，本发明提供的一种基于自适应批规范化的神经网络模型剪枝方法及系统，克服了现有技术中的神经网络模型剪枝方法时间消耗大的缺陷。

第一方面，本发明实施例提供基于自适应批规范化的神经网络模型剪枝方法，包括如下步骤：针对一L层的神经网络模型，随机采样L个[0,R](0R1)内的浮点数作为每层的剪枝率，在满足预设计算资源的限制下，生成剪枝率向量(r₁,r₂,…,r_L)作为剪枝策略；基于所述剪枝策略对神经网络模型分别进行剪枝，生成剪枝后模型构成的剪枝模型候选集；对候选集中的剪枝模型分别利用自适应批规范化方法，更新其批规范化层的统计参数；评估所述获取更新过统计参数的神经网络模型的分类准确率，将分类准确率最高的模型在训练集上进行微调至收敛后，作为最终的剪枝模型。

在一实施例中，所述预设计算资源限制，包括预设计算操作数限制、预设参数量限制、预设计算时延限制中的至少一个。

在一实施例中，所述基于所述剪枝策略对分别进行神经网络模型进行剪枝，生成剪枝后模型构成的剪枝模型候选集的过程，包括：对候选集中剪枝模型利用每个剪枝策略分别进行剪枝，对各层的卷积核按照其范数从大到小进行排序，去除在排序中倒数M位以后的卷积核，其中，M＝ceil(r_l*cl)，ceil代表向上取整，c_l是第l层的卷积核数量，r_l为第l层的剪枝率；将去除倒数M位以后的卷积核后的剪枝模型，构成剪枝模型候选集。

在一实施例中，所述对候选集中的剪枝模型分别利用自适应批规范化方法，更新其批规范化层的统计参数的过程，包括：对于每个候选集中的剪枝模型，固定其所有的可学习参数，在预设数量的训练样本上进行迭代，对批规范化层的统计参数滑动平均值和滑动方差值进行更新。

在一实施例中，通过以下公式分别对参数滑动平均值和滑动方差值进行更新：

μ_t＝mμ_t-1+(1-m)μ_β,