[发明专利]一种自适应比特位宽的神经网络量化方法及其装置

说明书

本发明公开一种自适应比特位宽的神经网络量化方法及其装置。该方法的步骤为：通过在多比特二值约束下最小化量化期望均方误差获得在不同量化比特数下的量化策略的查找表；在量化训练过程中使用查找表对不同的权重参数进行量化；在前向过程与反向过程后，利用量化权重参数的梯度计算各权重参数关于损失函数的敏感度，并在一定迭代次数后根据累计敏感度来调整各权重参数的量化比特数。本发明的装置包括多比特量化模块和量化比特数调整模块。本发明的方法和装置不仅能够极大降低神经网络参数所占用的存储空间和计算量，还能降低训练时间，使其能够方便地部署于嵌入式设备、移动设备或其他终端。

技术领域

本发明涉及神经网络压缩领域，具体涉及一种自适应比特位宽的神经网络的量化方法与装置。

背景技术

近年来，深度神经网络在许多领域，如目标识别、图像恢复、语义分割等方面取得了重大的进展。然而，一个神经网络层可能包含上万个参数，在一次迭代过程中产生上百万次计算。由于算力、内存、功耗的限制，神经网络算法难以在便捷式设备上，如智能手机、智能穿戴设备、无人机等，进行部署。

在神经网络算法中，通常被操作数据由32位浮点数构成，主要进行的运算为浮点数乘法和加法，这些运算和浮点数消耗了绝大部分的计算资源和存储资源。因此使用更少的比特来表示这些浮点数据，使用对计算资源需求更少的运算操作来替代浮点数计算，能够大大地降低计算量、存储量和功耗。

多比特二值网络(Multi-bitBinaryNetwork)是一类将网络参数进行二值化的特殊网络，其中被量化的每一个参数由多个二值({0，1}或者{-1，1})表示的比特构成。通过将神经网络的参数进行多比特二值化，原来的浮点数操作可以被替换二值操作(与、或、非、异或等)。然而，之前将神经网络进行多比特二值化的量化训练方法通常非常耗时，且量化所带来的准确度损失仍然有进一步的优化空间。

发明内容

本发明主要针对现有卷积神经网络内存和计算资源消耗量大，功耗高的问题，提出一种自适应比特位宽的多比特神经网络量化方法及其装置。

本发明的方法采用的技术方案如下：

一种自适应比特位宽的神经网络量化方法，包括以下步骤：

(1)最小化量化期望均方误差，得到在不同量化比特数情况下的量化策略，并建立量化等级关于量化比特数的查找表；

(2)初始化神经网络的权重参数及量化比特数；

(3)通过步骤(1)的查找表和量化比特数对所述神经网络的权重参数进行多比特量化；

(4)利用量化后的权重参数进行前向和反向传播；

(5)计算量化敏感度并进行累计，得到累计敏感度；

(6)使用所述累计敏感度调整权重参数的量化比特数，并重复步骤(3)～(6)直到量化训练完成；

(7)在完成量化训练后对多比特二值网络进行部署。

进一步地，所述步骤(1)中，利用暴力搜索算法对量化策略求解，具体步骤为：在高斯分布和拉普拉斯分布的假设下，在不同的量化比特下，遍历比例因子的可能解，由此计算得到量化等级和量化区间，使用量化等级、量化区间和假设分布的概率密度函数进行积分得到量化期望均方误差，找到对应于最小量化期望均方误差的量化等级，最终建立在不同分布和不同量化比特数情况的查找表。

进一步地，所述步骤(2)中，所有量化比特数被统一初始化为定值。

进一步地，所述步骤(3)中，根据权重参数的量化比特数，通过查找所述查找表，找到对应于该量化比特数下的量化等级，然后将权重参数进行标准化，再根据量化等级进行量化投影，最后进行去标准化。