[发明专利]一种用于模型剪枝的方法、装置和介质

说明书

本公开实施例中提供了一种用于模型剪枝的方法、装置以及介质。所述方法包括：确定原始网络模型的每层的最大剪枝率，从而确定原始网络模型的每层的剪枝率搜索空间，并基于该剪枝率搜索空间对原始网络模型进行采样，从而得到第一多个子网络模型；通过原始网络模型的经训练的延时预测模型，预测得到所述第一多个子网络模型中的每个子网络模型的预测延时，并通过将所述第一多个子网络模型中的每个子网络模型微调预定个数的回合(epoch)，测试得到所述第一多个子网络模型中的每个子网络模型的预测精度；以及按照预测精度和预测延时的组合指标对所述第一多个子网络模型进行排序，从而筛选出满足预测精度/预测延时比率预定阈值的目标子网络模型。

技术领域

本发明涉及人工智能领域，具体涉及用于模型剪枝的方法、装置和介质。

背景技术

模型剪枝技术是用来将大模型中冗余的参数去除掉，以得到更加轻量化且精度几乎无损的小模型，这在自动驾驶领域及各类边缘侧人工智能领域中具有非常高的应用价值。

现有的结构化剪枝方案主要分为不考虑硬件性能约束的剪枝方案和考虑硬件性能约束的剪枝方案。

在不考虑硬件性能约束的剪枝方案中，一般只考虑精度这一个衡量标准，例如，对于神经网络中每一个卷积操作，剪除其输出通道数。通常，“剪掉4个通道”就意味着将其中二范数最小的4个“卷积核”的权重全部置为零。通过设置不同的剪枝率，可以分析模型精度掉点随剪枝率变化的敏感度，然后设置一个精度掉点的阈值，若精度掉点高于此阈值，则停止剪枝。确定好每一层卷积操作的剪枝率后，即可得到压缩后的模型，然后对该模型做微调，得到最终的剪枝结果。

在考虑硬件性能约束的剪枝方案中，诸如AMC方案(Yihui He,Ji Lin,ZhijianLiu,Hanrui Wang,Li-Jia Li,and Song Han.Amc:AutoML for Model Compression andAcceleration on Mobile Devices.In Proceedings of the European Conference onComputer Vision(ECCV),pages 784–800,2018.)的早期方案中，用模型的参数量不能超过某个阈值作为硬件约束条件，然后运用强化学习的算法，将参数量作为一种“回报”，进行迭代剪枝。但模型的参数量并不总是正比于实际的延时，尤其是对于一些“非线性”的硬件平台。因此，这种方案在满足硬件延时要求方面是非常不可控的。在另一种NetAdapt方案(Tien-Ju Yang,Andrew Howard,Bo Chen,Xiao Zhang,Alec Go,Mark Sandler,VivienneSze,and Hartwig Adam.Netadapt:Platform-Aware Neural Network adaptation formobile applications.In Proceedings of the European Conference on ComputerVision(ECCV),pages285–300,2018.)中，采用的是逐步接近延时要求的迭代剪枝算法，每一次迭代都会从网络中挑选某一层卷积操作，剪掉一部分通道，然后在硬件上实测其延时，看是否满足要求。这种方法的弊端在于实测延时需要花费额外的时间，而且每次只对某一层卷积进行剪枝的做法导致网络搜索的多样性不足，采到好的网络架构的几率也会降低。此外，在诸如AutoCompress方案(Ning Liu,Xiaolong Ma,Zhiyuan Xu,Yanzhi Wang,JianTang,and Jieping Ye.Autocompress:An Automatic DNN Structured pruningframework for ultra-high compression rates.In Proceedings of the AAAIConference on Artificial Intelligence,2020.)和MetaPruning方案(Zechun Liu,Haoyuan Mu,Xiangyu Zhang,Zichao Guo,Xin Yang,Kwang-Ting Cheng,and JianSun.Metapruning:Meta learning for automatic neural network channel pruning.InProceedings of the IEEE International Conference on Computer Vision,pages3296–3405,2019.)等的其他剪枝方案中，也均未对如何无需实测就能确保延时满足要求作过说明。