[发明专利]运算处理设备、用于控制运算处理设备的方法和存储介质

说明书

本发明涉及运算处理设备、用于控制运算处理设备的方法和存储介质。一种由运算处理设备实现的方法，该运算处理设备被配置成重复执行类似的定点运算操作多次，所述处理包括：在每次迭代中根据关于每次迭代的运算操作的统计信息获取下一迭代的小数点位置信息；基于将下一迭代的小数点位置信息与已经获取的前一迭代的小数点位置信息进行比较的结果来计算调整量；以及在下一迭代中使用下一迭代的小数点位置信息和调整量执行定点运算操作。

技术领域

本文讨论的实施方式涉及运算处理设备、用于控制运算处理设备的方法以及用于存储用于控制运算处理设备的程序的非暂态计算机可读存储介质。

背景技术

发现通过将神经网络扩展到多个层获得的深度神经网络(DNN)适用于先前困难的问题并且预期将应用于各种领域。神经网络通过机械地模拟脑神经细胞(神经元)而获得。

神经网络作为整体用作单一函数。当向神经网络提供输入时，神经网络输出根据该输入确定的值。神经网络与现有程序的不同之处在于，当将也被称为教师信号的目标值提供至输入时，神经网络基于目标值来调整要输出的值，使得要输出的值更接近目标。在神经网络中，存在许多参数。通过调整参数的值，实现期望的函数形式。

由于神经网络的整个计算可以用数学方法表示，因此可以计算参数相对于神经网络的输出的评估结果的偏导数。评估结果是平方误差等。由于评估结果相对于参数中的每个参数而减小，或者例如参数被改变使得参数的偏导数的值减小并且评估结果减小，因此神经网络变得更类似于目标函数形式。虽然难以一次统一地计算参数的偏导数，但是可以通过被称为误差反向传播的方法从神经网络的输出侧的层到神经网络的输入侧的层按顺序机械地计算参数的偏导数。通过多层神经网络进行的这种机械学习方法被称为深度学习。在深度学习中，执行包括乘法、积和操作以及向量乘法的各种运算操作。

在深度学习中，对单个运算操作的精度的要求不如对其他计算机处理的要求严格。例如，对于现有的信号处理等，程序员开发计算机程序使得尽可能地抑制数字溢出。另一方面，在深度学习中，对于大的值，在某种程度上饱和是可接受的。这是由于以下事实，在深度学习中，多个输入数据的卷积操作中的系数(权重)的调整是主要处理，并且在许多情况下显著偏离输入数据的数据被视为不重要。此外，这是由于以下事实，由于重复使用大量数据来调整系数，因此基于学习的进展来调整饱和一次的值的数字，并且该值不会饱和并且可以反映在系数调整中。

由于用于深度学习的运算处理设备的芯片面积被减小，基于深度学习的前述特性等，功率性能被改善，因此考虑使用定点数而不使用浮点数进行整数运算操作。这是由于用于整数运算操作的电路配置可以比用于浮点运算操作的电路配置更简单地制作的事实。

但是，由于定点数的动态范围小，因此在一些情况下，使用定点数进行的运算操作的精度低于使用浮点数进行的运算操作的精度。因此，即使在深度学习中，也需要考虑小的值的表示精度或者例如有效数字的数目。因此，提出了用于扩展定点数的技术。

例如，在深度学习中，要表示的数据的范围基于数据的类型或学习的进展而改变。当使用定点数执行运算操作时，优选地是大致调整指示小数点位置的比例因子。比例因子是原始十进制表示和量化的整数表示的乘数，或者例如使用定点数表示的数据。定点表示被应用为通过截去通过将原始值乘以比例因子2^ω(ω是整数)获得的值的小数部分获得的有符号整数值。例如，值x的定点表示被应用为R(x，ω)＝ceil(x×2^ω)。ceil函数是截去小数部分的函数。在这种情况下，2^ω是比例因子。例如，存在用于获取关于深度学习中的每次迭代的计算结果的位位置的统计信息并基于所获取的统计信息确定比例因子的技术。

在用于确定比例因子的技术中，以以下过程更新比例因子。首先，根据输入数据计算输出数据。然后，当所有输出数据的生成终止时，分析统计信息并且更新在迭代中要参考的比例因子。在下一迭代中在数据的输出时使用更新的比例因子。