[发明专利]信息处理设备、计算机可读存储介质和神经网络计算方法

说明书

提供了信息处理设备、计算机可读存储介质和神经网络计算方法。处理器根据第一定点数格式将从训练获得的多个第一中间数据量化为第一定点数的中间数据，获得第一中间数据与第一定点数的中间数据之间的第一量化误差，根据第二定点数格式将第一中间数据量化为第二定点数的中间数据，并且获得第一中间数据与第二定点数的中间数据之间的第二量化误差。处理器将第一量化误差与第二量化误差进行比较，并将具有量化误差中的较低量化误差的定点数格式确定为确定的定点数格式，并且利用通过根据确定的定点数格式量化多个第一中间数据而获得的定点数的中间数据来执行训练运算。

技术领域

本发明涉及信息处理设备、神经网络计算程序和神经网络计算方法。

背景技术

近年来，神经网络在诸如图像识别领域的领域中已经取得了显著的进展。在这样的领域中，通过使用深度神经网络(下文中称为“DNN”)，即较复杂配置的神经网络(下文中称为“NN”)，改善了图像识别率。利用具有较复杂配置的NN或DNN(下文中统称为“NN等”)，增加了计算机的运算次数和存储使用量。

作为减少在执行针对NN等的运算的计算机中的运算次数和存储使用量的方法，提出了将中间数据包括例如NN等中的权重等参数和输入至神经元的激活数据量化(或转换)成具有低位数的定点数。例如，在.Rastegari等人的“XNOR-Net ImageNet ClassificationUsing Binary Convolutional Neural Networks”，arxiv，2016，日本公开特许公报第2018-124681号和日本专利申请公开第2018-10618号中公开了这样的方法。通过量化中间数据以减少位数，实现了减少中间数据的运算量和用于存储中间数据的存储量。即使通过量化可以表示的中间数据的准确度低，NN等的图像识别率也不会显著下降。另一项现有技术是A.Canziani等人的“An Analysis of Deep Neural Network Models for PracticalApplications”，arxiv，2016。

发明内容

已经提出了一种方法，在该方法中，当将中间数据量化为定点数时，基于中间数据中的作为无符号位(如果符号位为0，则无符号位意为“1”，或者如果符号位为1，则无符号位意为“0”)的最高有效位的位置的分布，来确定具有定点数的整数部分和小数部分的位宽的Q格式。日本专利申请公开第2018-124681号与此对应。

然而，尽管基于无符号最高有效位的位置的分布来确定Q格式使得能够稍微适当地设置Q格式，但是这不一定确保检测到最佳的Q格式。因此，在不期望的情况下，中间数据的有效位(或有效的位)(即为无符号位，当为正时为“1”，当为负时为“0”)的位置可能与Q格式的位范围的位置显著不同，从而导致由量化(或转换)为定点数所引起的量化误差的增加。在这种情况下，NN等的识别精度和准确率会显著下降。

因此，本实施方式的第一方面的目的是提供减少量化误差的信息处理设备、神经网络计算程序和神经网络计算方法。

根据实施方式的一方面，提供了一种执行神经网络的训练的信息处理设备，该信息处理设备包括：处理器和由该处理器访问的存储器，其中，该处理器：根据具有第一位长度的第一定点数格式和定点数的最低有效位的第一指数信息，将通过训练的预定运算获得的多个第一中间数据分别量化为多个第一定点数的中间数据；分别获得多个第一中间数据与多个第一定点数的中间数据之间的第一量化误差；根据具有第二位长度的第二定点数格式和定点数的最低有效位的第二指数信息，将多个第一中间数据分别量化为多个第二定点数的中间数据；分别获得多个第一中间数据与多个第二定点数的中间数据之间的第二量化误差；将第一量化误差与第二量化误差进行比较，并将具有第一量化误差和第二量化误差中的较低量化误差的定点数格式确定为确定的定点数格式；并且利用通过根据确定的定点数格式量化多个第一中间数据而获得的多个确定的定点数的中间数据来执行预定运算。

附图说明

图1是示出深度神经网络(DNN)的配置的示例的图。