[发明专利]用于神经网络量化的方法和设备

权利要求书

1.一种用于神经网络量化的方法，包括：

确定神经网络的网络参数的损失函数的二阶偏导矩阵的对角线，其中，所述二阶偏导矩阵是海赛矩阵；

使用确定的对角线对所述网络参数进行加权，作为对所述网络参数进行量化操作的一部分，其中，所述加权是海塞加权。

2.如权利要求1所述的用于神经网络量化的方法，其中，通过将海赛加权的均值用作集群中心，经由所述网络参数的海赛加权的k均值聚类对所述网络参数进行量化。

3.如权利要求2所述的用于神经网络量化的方法，其中，通过二进制编码对量化的网络参数进行编码。

4.如权利要求1所述的用于神经网络量化的方法，其中，将海赛加权的均值用作集群中心通过均匀量化对所述网络参数进行聚类，并且通过可变长度二进制编码对量化的网络参数进行编码。

5.如权利要求1所述的用于神经网络量化的方法，其中，神经网络是具有多个层的深度神经网络，并且同时对所有层执行量化。

6.如权利要求1所述的用于神经网络量化的方法，其中，熵编码被使用，并且量化聚类通过使用熵约束的标量量化(ECSQ)来执行。

7.如权利要求6所述的用于神经网络量化的方法，其中，将海赛加权的均值用作集群中心通过均匀量化对所述网络参数进行聚类。

8.如权利要求6所述的用于神经网络量化的方法，其中，通过使用用于执行熵约束的标量量化(ECSQ)的迭代操作对所述网络参数进行聚类。

9.如权利要求8所述的用于神经网络量化的方法，其中，通过使用迭代操作对所述网络参数进行聚类的步骤包括：

根据集群的失真度量和聚类后的网络参数的熵来定义拉格朗日代价函数；

迭代地分配并更新集群，直到拉格朗日代价函数减小到小于阈值。

10.如权利要求8所述的用于神经网络量化的方法，其中，在执行迭代操作中使用海赛加权。

11.一种用于神经网络量化的方法，包括：

使用网络参数的梯度的一阶矩估计和二阶矩估计对神经网络进行训练；

使用所述二阶矩估计对所述网络参数进行加权，作为对所述网络参数进行量化的一部分。

12.如权利要求11所述的用于神经网络量化的方法，其中，通过随机梯度下降(SGD)优化器执行所述训练。

13.一种神经网络量化中的设备，包括：

一个或更多个非易失性计算机可读介质；

至少一个处理器，其中，所述至少一个处理器在执行存储在所述一个或更多个非易失性计算机可读介质上的指令时执行以下步骤：

确定神经网络的网络参数的损失函数的二阶偏导矩阵的对角线，其中，所述二阶偏导矩阵是海赛矩阵；

使用确定的对角线对所述网络参数进行加权，作为对所述网络参数进行量化操作的一部分，其中，所述加权是海赛加权。

14.如权利要求13所述的神经网络量化中的设备，其中，通过二进制编码对量化的网络参数进行编码。

15.如权利要求13所述的神经网络量化中的设备，其中，通过将海赛加权的均值用作集群中心，经由所述网络参数的海赛加权的k均值聚类对所述网络参数进行量化，并且通过固定长度的二进制编码对所述网络参数进行编码。

16.如权利要求13所述的神经网络量化中的设备，其中，将海赛加权的均值用作集群中心通过均匀量化对所述网络参数进行聚类，并且通过可变长度二进制编码对量化的网络参数进行编码。

17.如权利要求13所述的神经网络量化中的设备，其中，神经网络是具有多个层的深度神经网络，并且同时对所有层执行量化。

18.如权利要求13所述的神经网络量化中的设备，其中，作为最优可变长度二进制编码的熵编码被使用，并且量化聚类通过使用熵约束的标量量化(ECSQ)来执行。