[发明专利]一种神经网络模型量化方法、设备、产品及介质

说明书

本申请公开了一种神经网络模型量化方法、设备、产品及介质，应用于人工智能技术领域，用以解决利用直通估计器进行模型量化导致模型性能下降的问题。具体为：获取预先训练的用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型；基于梯度调整函数分别对第一神经网络模型的各权重进行调整，得到第二神经网络模型；基于权重量化系数分别对第二神经网络模型的各权重进行量化，得到目标神经网络模型。这样，通过利用梯度调整函数调整神经网络模型的各权重使各权重分别收敛于其对应的量化整数值后再基于权重量化系数对各权重进行量化，可以实现完全绕过直通估计器的模型量化，保持了神经网络模型的最优性能和对输入的图像数据的处理精度。

技术领域

本申请涉及计算机技术领域，尤其涉及一种神经网络模型量化方法、设备、产品及介质。

背景技术

目前，神经网络模型通常包含有数百万的模型参数，这些模型参数一般是浮点数，占用了很大的磁盘空间，而由于普通的压缩算法很难压缩其占用的磁盘空间，因此，引入了神经网络模型量化技术。

现有技术中，通常是在神经网络模型训练过程中在梯度回传时对神经网络模型的权重进行量化，同时使用直通估计器规定量化运算的梯度为1，从而使梯度连续，然而，这种基于直通估计器的神经网络模型量化方法会使神经网络模型的性能出现一定下降。

发明内容

本申请实施例提供了一种神经网络模型量化方法、设备、产品及介质，用以解决现有技术利用直通估计器量化神经网络模型时导致神经网络模型性能下降的问题。

本申请实施例提供的技术方案如下：

一方面，本申请实施例提供了一种神经网络模型量化方法，包括：

获取预先训练的用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型；

基于梯度调整函数，分别对第一神经网络模型的各权重进行调整，得到第二神经网络模型；其中，梯度调整函数在正向传播时为恒等函数，在反向传播时分别对第一神经网络模型的各权重进行调整，使得第一神经网络模型的各权重分别收敛于其对应的量化整数值；

基于权重量化系数，分别对第二神经网络模型的各权重进行量化，得到目标神经网络模型；其中，权重量化系数用于将第二神经网络模型的各权重分别映射到其对应的整数域上。

另一方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本申请实施例提供的神经网络模型量化方法。

另一方面，本申请实施例还提供了一种计算机程序产品，计算机程序产品包括程序代码，程序代码在处理器上运行时实现本申请实施例提供的神经网络模型量化方法。

另一方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现本申请实施例提供的神经网络模型量化方法。

本申请实施例的有益效果如下：

本申请实施例中，通过利用梯度调整函数调整神经网络模型的各权重使神经网络模型的各权重分别收敛于其对应的量化整数值后再基于权重量化系数分别对神经网络模型的各权重进行量化，可以实现完全绕过直通估计器的模型量化，从而在达到了模型量化效果的同时，保持了神经网络模型的最优性能，在不影响神经网络模型对输入的图像数据的处理精度的同时，有效地解决了因借助直通估计器进行模型量化引起的模型性能下降的问题。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地可以从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中特别指出的结构来实现和获得。

附图说明