[发明专利]一种基于自适应批规范化的神经网络模型剪枝方法及系统

权利要求书

1.一种基于自适应批规范化的神经网络模型剪枝方法，其特征在于，包括如下步骤：

针对一L层的神经网络模型，随机采样L个[0,R](0R1)内的浮点数作为每层的剪枝率，在满足预设计算资源的限制下，生成剪枝率向量(r₁,r₂,…,r_L)作为剪枝策略；

基于所述剪枝策略对神经网络模型分别进行剪枝，生成剪枝后模型构成的剪枝模型候选集，包括：

对候选集中剪枝模型利用每个剪枝策略分别进行剪枝，对各层的卷积核按照其范数从大到小进行排序，去除在排序中倒数M位以后的卷积核,其中，M＝ceil(r_l*c_l)，ceil代表向上取整，c_l为第l层的卷积核数量，r_l为第l层的剪枝率；

将去除倒数M位以后的卷积核后的剪枝模型，构成剪枝模型候选集；

对候选集中的剪枝模型分别利用自适应批规范化方法，更新其批规范化层的统计参数，包括：对于每个候选集中的剪枝模型，固定其所有的可学习参数，在预设数量的训练样本上进行迭代，对批规范化层的统计参数滑动平均值和滑动方差值进行更新，通过以下公式分别对参数滑动平均值和滑动方差值进行更新：

μ_t＝mμ_t-1+(1-m)μ_β,

其中，μ_t代表参数滑动平均值，代表滑动方差值，m代表滑动平均中历史平均的权重，t代表迭代次数，β代表样本批次；

评估获取更新过统计参数的神经网络模型的分类准确率，将分类准确率最高的模型在训练集上进行微调至收敛后，作为最终的剪枝模型。

2.根据权利要求1所述的基于自适应批规范化的神经网络模型剪枝方法，其特征在于，所述预设计算资源限制，包括预设计算操作数限制、预设参数量限制、预设计算时延限制中的至少一个。

3.根据权利要求1所述的基于自适应批规范化的神经网络模型剪枝方法，其特征在于，评估获取更新过统计参数的神经网络模型的分类准确率，将分类准确率最高的模型作为最终的剪枝模型的过程，包括:

获取更新过统计参数的神经网络模型在验证集上计算的分类准确率，作为该模型的潜在准确率；

获取潜在准确率排在前N个的神经网络模型作为候选模型，并对所述候选模型在训练集上进行微调至收敛，将在验证集上计算其分类准确率最高的模型作为最终的剪枝模型。