[发明专利]可在线切换比特位宽的量化神经网络的方法及系统

说明书

本发明提供了一种可在线切换比特位宽的量化神经网络的方法及系统，包括：将不同比特位宽的深度神经网络整合到一个超网络中，所有比特位宽的网络共享同一个网络架构；超网络以不同的比特位宽运行，对于任意一个比特位宽，得到对应的网络中间层特征，每一个网络中间层特征采用相应的批归一化层进行处理；通过监督学习对超网络进行训练，在超网络训练阶段模拟量化噪声，直至低比特模式与高比特模式之间的一致性损失函数收敛，得到训练后的超网络；使用预设的量化器从训练后的超网络中抽取出目标比特位的量化神经网络进行低比特推理。本发明能够使神经网络在不进行再次训练的前提下，任意切换比特位宽，以适应不同的硬件部署环境。

技术领域

本发明涉及计算机视觉和图像处理领域，具体地，涉及一种可在线切换比特位宽的量化神经网络的方法及系统。

背景技术

随着深度神经网络(DNNs)复杂性的不断提高，在部署深度神经网络时常常会面临巨大的挑战。因此，模型压缩和模型加速在机器学习中受到越来越多的关注。一个重要的研究方向是量化深度神经网络，它将模型权重和中间层激活量化到更小的比特位宽。由于位宽的减少，量化深度神经网络有更小的模型尺寸，并可利用高效的定点计算进行快速推理。然而，当比特位宽减小到4比特甚至更小时，会造成明显的精度损失。为了缓解这个问题，普遍采用量化感知训练来恢复模型精度。量化感知训练在训练时模拟某一位宽的量化效果，使得模型可以在训练阶段适应量化噪声。在现实场景中，不同的设备可能支持不同的位宽。例如，Tesla T4支持4、8、16和32位，而Watt A1支持1、2、3和4位。如果利用量化感知训练来将深度神经网络部署到不同比特位宽，需要进行大量的训练时间和资源，造成部署的不便。本发明提出的可在线切换比特位宽的量化神经网络，就是为了使深度神经网络不需要额外的训练便可以不同的比特位宽进行部署。

现阶段根据比特位宽的不同，无需额外训练的量化算法可以分为无数据量化和校准数据量化。对于无数据量化，量化过程不需要任何原始数据集。该类量化算法会根据模型本身的特性对量化方案进行调整，并且会对神经网络的批归一化层进行修正。对于基于校准数据的量化，会收集一部分图像作为校准数据集。通过将校准数据集输入待量化的深度神经网络，可以收集到网络中每层的激活分布信息。通过计算量化前后激活分布的KL散度，可以较好地实现网络的量化。

专利文献CN109961141A(申请号：201910288941.2)公开了用于生成量化神经网络的方法和装置。该方法的一具体实施方式包括：获取训练样本集和初始神经网络；将初始神经网络中的原始浮点型网络参数转化为整数型网络参数；基于转化成的整数型网络参数，生成量化初始神经网络；从训练样本集中选取训练样本，执行以下训练步骤：将训练样本中的样本信息作为量化初始神经网络的输入，将训练样本中的样本结果作为量化初始神经网络的期望输出，对量化初始神经网络进行训练；响应于确定量化初始神经网络训练完成，基于训练完成的量化初始神经网络，生成量化神经网络。但是它只可以将神经网络量化到8比特，同时无法在网络运行过程中灵活改变比特位宽。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种可在线切换比特位宽的量化神经网络的方法及系统。

根据本发明提供的一种可在线切换比特位宽的量化神经网络的方法，包括：

步骤M1：将不同比特位宽的深度神经网络整合到一个超网络中，所有比特位宽的网络共享同一个网络架构；

步骤M2：超网络以不同的比特位宽运行，对于任意一个比特位宽，得到对应的网络中间层特征，每一个网络中间层特征采用相应的批归一化层进行处理；

步骤M3：通过监督学习对超网络进行训练，在超网络训练阶段模拟量化噪声，直至低比特模式与高比特模式之间的一致性损失函数收敛，得到训练后的超网络；

步骤M4：使用预设的量化器从训练后的超网络中抽取出目标比特位的量化神经网络进行低比特推理；