[发明专利]非暂态计算机可读记录介质、操作方法和操作设备

说明书

公开了非暂态计算机可读记录介质、操作方法和操作设备。非暂态计算机可读记录介质存储用于使计算机执行处理的操作程序，所述处理包括：在学习模型中包括的层中的每一层中利用高精度数据类型执行第一学习；在第一学习中执行量化的情况下，基于与第一量化误差以及通过量化误差的累积引起的衰减的程度相对应的阈值，计算在层中的每一层中要用于量化的位数；以及重复地执行第二学习，直到第二学习收敛，第二学习包括基于所计算的层中的每一层的位数的数据类型的量化。

技术领域

本文讨论的实施方式涉及存储操作程序的非暂态计算机可读存储介质、操作方法和计算器。

背景技术

通过增加深度神经网络(DNN)的规模和深度，已经提高了DNN的识别率。然而，规模和深度的增加增加了DNN中的运算量，并且DNN的学习时间也与运算量的增加成比例地增加。

为了缩短DNN的学习时间，可以将浮点8位(FP8)或浮点16位(FP16)的低精度运算(LPO)用于DNN的学习(训练)。例如，在使用FP8的运算时，由于与浮点32位(FP32)的运算相比单指令多数据(SIMD)运算的并行度可以增加四倍，因此运算时间可以缩短到1/4。与FP8或FP16的LPO相比，FP32的运算可以称为全精度运算(FPO)。例如，通过减少数据的位数而将DNN的运算从FPO改变为LPO的情况(例如FP32被改变为FP8的情况)可以被称为量化。FPO和LPO被混合的DNN的运算可以被称为混合精度运算(MPO)。在使用MPO的DNN学习中(混合精度训练：MPT)，由于针对识别率由于量化而降低的层执行FPO，因此执行LPO的层和执行FPO的层共存。

作为用于抑制由于量化而引起的识别率降低的方法，存在如下技术：该技术用于通过由FPO执行累加来在输出时执行量化，同时通过对数据进行量化来增加SIMD运算的并行度。存在另一种用于通过用高精度信息表示加权因子来在运算时执行量化的技术。存在用于通过FPO来更新加权因子的技术。

日本公开特许公报第2020-113273号和美国专利申请公开第2020/0143282号作为相关技术被公开。

发明内容

技术问题

在由MPT执行学习的情况下，期望设置用于确定其中由FPO执行运算的层的标准。然而，由于使用FPO的层根据学习的阶段而改变，因此难以预先确定使用FPO的层。

例如，在用于通过FPO执行累加的技术、用于使用加权因子在运算时执行量化的技术以及用于通过FPO更新加权因子的技术的所有技术中，执行量化的层被预先确定，并且难以根据学习阶段确定执行FPO的层。

因此，考虑到上述情况做出了本公开内容，并且本公开内容的目的是提供缩短学习模型的学习时间同时提高识别率的存储操作程序的计算机可读记录介质、操作方法和计算器。

问题解决方法

根据实施方式的一方面，提供了一种非暂态计算机可读记录介质，其存储用于使计算机执行处理的操作程序，所述处理包括：在学习模型中包括的层中的每一层中利用高精度数据类型执行第一学习；在第一学习中执行量化的情况下，基于与第一量化误差相对应的阈值以及通过量化误差的累积引起的衰减的程度，计算在层中的每一层中要用于量化的位数；以及重复地执行第二学习，直到第二学习收敛，第二学习包括针对层中的每一层的基于所计算的位数的数据类型的量化。

发明的有益效果

根据本公开内容，可以在缩短DNN的学习时间的同时提高识别率。

附图说明

图1是示出DNN的配置的示例的图；

图2是用于描述由动态范围引起的量化误差的图；

图3是DNN学习装置的框图；

图4是示出在ResNet-50的情况下与误差的大小相对应的衰减的图；