[发明专利]存储介质、量化方法和量化装置

说明书

公开了一种存储量化程序的非暂态计算机可读存储介质、量化方法和量化装置，所述量化程序使至少一个计算机执行处理，所述处理包括：针对神经网络的所有层，计算分别在信赖域半径阈值与第一位宽的量化误差之间的差，第一位宽比第二位宽窄一级；基于所述差来计算所有层的每个缩放系数；通过使用缩放系数中的最小值来更新信赖域半径；以及通过基于信赖域设置的第三位宽来量化神经网络的参数。

技术领域

本文讨论的实施方式涉及存储介质、量化方法和量化装置。

背景技术

已知量化作为用于减少变得越来越复杂的神经网络(neural network，NN)的执行时间的方法。

在量化中，通过将神经网络中使用的权重的数据类型(例如，FP32)转换为包括较小数据大小的数据类型(INT8)，减少了计算时间和通信时间。

已知用于针对每个层自动设置不导致识别率劣化的数据类型的最优化算法，作为相关技术的量化技术。

在相关技术的这样的最优化算法中，将量化目标矢量的量化误差与由基于信赖域方法的算法确定的阈值进行比较，并且根据该比较结果临时计算位宽。在信赖域方法中，为了避免由近似误差导致的位宽的错误确定，将阈值缩放为小于或等于信赖域半径。

利用设置临时计算的位宽来多次迭代地执行训练。此后，计算评价函数。

根据是否满足通过使用临时计算的位宽计算的损失函数小于或等于在理想条件下计算的损失函数(理想损失函数)的约束条件来更新位宽和信赖域半径。

例如，如果计算的损失函数小于或等于理想损失函数，则通过使用临时计算的位宽的值来更新位宽，并且通过将当前信赖域半径乘以常数“a”来增大信赖域半径。在这种情况下，常数“a”是大于1的值(“a”＞1)。另一方面，如果计算的损失函数大于理想损失函数，则维持位宽的值，丢弃临时计算的位宽的值，并且通过将当前信赖域半径乘以常数“a”来减小信赖域半径。在这种情况下，常数“a”是小于1的值(“a”＜1)。

在量化算法中，对于所有量化目标层，以预指定的迭代次数重复执行这些处理步骤。

作为相关技术，公开了国际公开小册子第2020/049681号和日本特许专利公开第2020-9048号。

发明内容

[技术问题]

在相关技术的这样的量化技术中，可以通过增加迭代次数来使位宽确定地收敛。然而，增加迭代次数增加了执行时间。另一方面，当优化所用的时间段有限时，在该时间段内，位宽可能不能充分地量化。由于量化不足，神经网络的训练时间也增加。

在一个方面，目的是使得能够在短时间内优化所有层。

[问题解决方案]

根据实施方式的一个方面，一种存储量化程序的非暂态计算机可读存储介质，所述量化程序使至少一个计算机执行处理，所述处理包括：针对神经网络的所有层计算分别在信赖域半径阈值与第一位宽的量化误差之间的差，所述第一位宽比第二位宽窄一级；基于所述差来计算所有层的每个缩放系数；通过使用缩放系数中的最小值来更新信赖域半径；以及通过基于信赖域设置的第三位宽来量化神经网络的参数。

[发明的有益效果]

根据实施方式，可以在短时间内优化所有层。

附图说明

图1是示出用作实施方式的示例的信息处理装置的硬件配置的示例的图；

图2是示出用作实施方式的示例的信息处理装置的功能配置的示例的图；

图3是示出神经网络的概观的图；

图4是示出用作实施方式的示例的信息处理装置中的量化目标矢量的示例的图；