[发明专利]面向边缘设备多层共享码本向量量化的深度模型压缩方法

说明书

面向边缘设备多层共享码本向量量化的深度模型压缩方法，涉及一种深度神经网络模型压缩方法，包括稀疏化训练、通道剪枝、优化权重排列、组向量量化、码本微调五个步骤。稀疏化训练：对上述各个通道评价因子进行稀疏化训练。通道剪枝：对重要性低的通道从模型中进行剪枝。优化权重排列：对通道剪枝后较小的网络模型实施权重优化排列。组向量量化：实施剪枝后的模型产生轻量化网络模型。码本微调：轻量化模型恢复模型精度。本发明用于压缩云端体积较大、结构复杂的网络模型得到便于边缘部署的轻量化模型，满足边缘设备算力资源、存储资源有限情况下的模型部署需求。有效降低模型对存储空间及算力要求，将边缘设备的算力资源、存储资源利用率最大化。

技术领域

本发明涉及一种网络模型压缩方法，特别是涉及一种面向边缘设备多层共享码本向量量化的深度模型压缩方法。

背景技术

深度神经网络模型在计算机视觉、语音识别、自然语言处理、自动驾驶等领域获得广泛应用，并且在移动端与嵌入式系统的边缘设备上有巨大的应用前景。随着越来越多人工智能解决方案进入了落地阶段，由于部分场景中存在对模型计算速度、网络传输速度等要求，边缘计算的出现为上述问题提供了解决方案，其将深度模型直接部署于边缘端设备中，边缘设备接收数据后直接得出计算结果，不必依赖云端环境。但是运行深度模型需要强大的计算能力和大量的存储空间，这使得深度模型在资源受限的边缘设备上难以部署。因此，如何减少深度神经网络模型中参数数量且保证模型精度是目前需要解决的问题。

模型压缩是一种能有效解决模型尺寸大、运行效率慢等缺点的方法。参数剪枝是模型压缩的一种方法，其中结构化剪枝的最小单位是层滤波器内参数的组合，通过对通道设置评价因子可以删除整个滤波器或者某几个通道，使网络“变窄”，从而可以直接在现有软/硬件上获得有效加速，但可能会带来预测精度的下降。向量量化是另一种模型压缩方法，其主要思想是使用一组编码和码本来表示模型的参数，通过只存储编码和码本而不是原始模型庞大的参数来达成压缩存储空间的目的，但这种方法的缺点是通过增加模型运算时间换取存储空间减少，每层运算之前都需要由码本和编码还原原始参数。

发明内容

本发明的目的在于提供一种面向边缘设备多层共享码本向量量化的深度模型压缩方法，本发明结合通道剪枝和向量量化两种方法，通过通道剪枝减少模型各层通道数，有效解决向量量化模型在运算中增加运行时间的问题，且能进一步压缩模型参数存储空间。此外向量量化之前重新排列参数顺序能有效减少量化误差，以减小压缩模型的精度损失。最后向量量化采用多个层统一向量量化的方法，使多个层共享一套码本进一步压缩了模型参数存储空间。

本发明的目的是通过以下技术方案实现的：

面向边缘设备多层共享码本向量量化的深度模型压缩方法，所述方法包括以下步骤：

步骤1，稀疏化训练：对每个通道引入一个比例因子γ作为该通道的评价因子，评价该通道在整个模型中的重要性，对上述各个通道评价因子进行稀疏化训练；

步骤2，通道剪枝：根据步骤1中产生的稀疏化评价因子计算各个通道的重要性，将重要性低的通道从模型中进行剪枝；

步骤3，优化权重排列：对通道剪枝后较小的网络模型实施权重优化排列；

步骤4，组向量量化：实施多层共享码本向量量化压缩算法压缩较小的网络模型，得到最终的适合部署于边缘设备端的轻量化网络模型；

步骤5，码本微调：使用原先训练模型的数据集再训练步骤4轻量化模型恢复模型精度。

所述的面向边缘设备多层共享码本向量量化的深度模型压缩方法，所述“稀疏化训练”中“评价因子”选取BN层中的可训练参数γ，“BN层”的输出为

，选取其中的γ为上述的“评价因子”；

所述“稀疏化训练”过程是优化如下损失函数