[发明专利]网络量化方法、推理方法以及网络量化装置

说明书

一种对神经网络(14)进行量化的网络量化方法，包括：数据库构建步骤(S20)，对通过将多个测试数据集(12)输入到神经网络(14)的情况下而得到的神经网络(14)所使用的张量的统计信息数据库(18)进行构建；参数生成步骤(S30)，通过对张量的值进行量化，从而生成量化参数集(22)；以及网络构建步骤(S40)，使用量化参数集(22)，对神经网络(14)进行量化，在参数生成步骤(S30)，根据统计信息数据库(18)，将包括张量的值之中的频度成为极大的值的高频度区域中的量化步长间隔，设定为比低频度区域中的量化步长间隔窄，该低频度区域是包括频度比高频度区域低、且频度不为零的张量的值的区域。

技术领域

本公开涉及网络量化方法、推理方法以及网络量化装置。

背景技术

以往利用神经网络等网络进行机器学习。在此，将数值数据作为输入，执行一些运算来得到数值数据的输出值的模型，将这种模型称为网络。在将网络安装到计算机等硬件时，为了抑制硬件成本，则希望在保持安装后的推理精度与浮点精度为同等程度的基础上，来构建运算精度更低的网络。

例如，在安装以浮点(floating point)精度来进行所有的计算的网络的情况下，由于硬件成本增大，因此要求实现在保持推理精度的状态下，以定点(fixed point)精度来进行计算的网络。

以下将浮点(floating point)精度的网络也称为量化前网络，将定点(fixedpoint)精度的网络也称为量化网络。

在此，将如下的处理称为量化，即，将能够连续地表现几乎任意的值的浮点的值，划分为规定的分区来进行编码的处理。更一般而言，量化被定义为缩小网络中所使用的数值的位数或范围的处理。

在以由量化而限定的比特数来表现实数时，会有输入数据的分布与设想的分布不同的情况。在这种情况下所出现的问题是，量化误差增大，从而给机器学习的速度带来不良的影响，而且还会给学习后的推理的精度带来不良的影响。

作为解决这种问题的方法，例如有已知的专利文献1所记载的方法。在专利文献1记载的方法中，针对卷积神经网络的各层内的权重以及数据的每一个分别定义定点格式。以浮点数来开始卷积神经网络的机器学习，为了估计输入数据的分布而进行解析。接着，根据输入数据的分布，来决定表示输入数据值的最佳化数值格式，利用该格式来进行量化。这样，在专利文献1中，先调查输入数据的分布，选择适于该分布的数值格式，试图解决上述问题。

(现有技术文献)

(专利文献)

专利文献1 日本 特开2018-10618号公报

发明内容

发明要解决的课题

在专利文献1记载的方法中，考虑使用的数据的范围，针对能够包容该数据的范围，分配限定的比特数。在此，若在该范围内存在数据的不均匀，则几乎不存在数据的区间中的数据也被分配比特数。这意味着，针对比特数而言，具有意义的数据的量变少。因此，量化的精度降低。

于是，本公开为了解决上述这种问题，目的在于提供一种能够构建精度良好的量化网络的网络量化方法等。

解决课题所采用的手段