[发明专利]一种自适应比特位宽的神经网络量化方法及其装置

权利要求书

1.一种自适应比特位宽的神经网络量化方法，其特征在于，包括以下步骤：

(1)最小化量化期望均方误差，得到在不同量化比特数情况下的量化策略，并建立量化等级关于量化比特数的查找表；

(2)初始化神经网络的权重参数及量化比特数；

(3)通过步骤(1)的查找表和量化比特数对所述神经网络的权重参数进行多比特量化；

(4)利用量化后的权重参数进行前向和反向传播；

(5)计算量化敏感度并进行累计，得到累计敏感度；

(6)使用所述累计敏感度调整权重参数的量化比特数，并重复步骤(3)～(6)直到量化训练完成；

(7)在完成量化训练后对多比特二值网络进行部署。

2.根据权利要求1所述的一种自适应比特位宽的神经网络量化方法，其特征在于，所述步骤(1)中，利用暴力搜索算法对量化策略求解，具体步骤为：在高斯分布和拉普拉斯分布的假设下，在不同的量化比特下，遍历比例因子的可能解，由此计算得到量化等级和量化区间，使用量化等级、量化区间和假设分布的概率密度函数进行积分得到量化期望均方误差，找到对应于最小量化期望均方误差的量化等级，最终建立在不同分布和不同量化比特数情况的查找表。

3.根据权利要求1所述的一种自适应比特位宽的神经网络量化方法，其特征在于，所述步骤(2)中，所有量化比特数被统一初始化为定值。

4.根据权利要求1所述的一种自适应比特位宽的神经网络量化方法，其特征在于，所述步骤(3)中，根据权重参数的量化比特数，通过查找所述查找表，找到对应于该量化比特数下的量化等级，然后将权重参数进行标准化，再根据量化等级进行量化投影，最后进行去标准化。

5.根据权利要求1所述的一种自适应比特位宽的神经网络量化方法，其特征在于，所述步骤(4)中，使用量化后的权重参数进行前向传播，并通过反向传播获得权重参数的梯度，使用梯度对原权重参数进行更新。

6.根据权利要求1所述的一种自适应比特位宽的神经网络量化方法，其特征在于，所述步骤(5)中，将原权重参数与量化后的权重参数相减，然后与权重参数的梯度进行点积运算，最后取绝对值再除以参数数量来表示权重参数关于损失函数的量化敏感度。

7.根据权利要求1所述的一种自适应比特位宽的神经网络量化方法，其特征在于，所述步骤(6)中，首先将累计敏感度进行升序排序，然后按照某一百分比r找到累计敏感度最小的权重参数，如果这部分权重参数量化比特数大于0，则将其减1，当权重参数的量化比特数降为0，则将该部分权重参数永久从神经网络中移除。

8.根据权利要求1所述的一种自适应比特位宽的神经网络量化方法，其特征在于，所述步骤(7)中，根据量化等级与比例因子、二值权重之间的一一对应关系，将量化权重参数分解为二值权重和比例因子，用于对多比特二值网络进行部署。

9.一种自适应比特位宽的神经网络量化装置，其特征在于，包括：

多比特量化模块，基于高斯分布和拉普拉斯分布假设建立量化等级关于量化比特数的查找表，并在量化训练过程中对权重参数进行多比特量化；

量化比特数调整模块，用于获得量化权重参数关于损失函数的敏感度并进行累计，在量化训练过程中根据累计敏感度对权重参数的量化比特数进行调整。