[发明专利]信息处理设备、计算机可读存储介质和神经网络计算方法

权利要求书

1.一种执行神经网络的训练的信息处理设备，所述信息处理设备包括：

处理器；以及

由所述处理器访问的存储器，其中，

所述处理器：

根据具有第一位长度的第一定点数格式和定点数的最低有效位的第一指数信息，将通过所述训练的预定运算获得的多个第一中间数据分别量化为多个第一定点数的中间数据；

分别获得所述多个第一中间数据与所述多个第一定点数的中间数据之间的第一量化误差；

根据具有第二位长度的第二定点数格式和定点数的最低有效位的第二指数信息，将所述多个第一中间数据分别量化为多个第二定点数的中间数据；

分别获得所述多个第一中间数据与所述多个第二定点数的中间数据之间的第二量化误差；

将所述第一量化误差与所述第二量化误差进行比较，并将具有所述第一量化误差和所述第二量化误差中的较低量化误差的定点数格式确定为确定的定点数格式；并且

利用通过根据所述确定的定点数格式量化所述多个第一中间数据而获得的多个确定的定点数的中间数据来执行所述预定运算。

2.根据权利要求1所述的信息处理设备，其中，当由所述处理器通过舍入处理和饱和处理以所述位长度限制所述第一中间数据时，所述定点数格式限定数位的范围。

3.根据权利要求1所述的信息处理设备，其中，所述处理器还：

基于所述多个第一中间数据的值的范围，确定多个定点数格式候选，所述多个定点数格式候选每个分别具有针对所述最低有效位的指数信息的多个候选；

通过分别基于所述多个定点数格式候选对所述多个第一中间数据进行量化来生成多个经量化的中间数据，并且分别获得所述多个第一中间数据与所述多个经量化的中间数据之间的多个量化误差，所述多个量化误差分别与所述多个定点数格式候选相对应；以及

在确定所述确定的定点数格式时，将与所述多个量化误差中的最低量化误差相对应的定点数格式候选确定为所述确定的定点数格式。

4.根据权利要求3所述的信息处理设备，其中，在获得所述多个量化误差时，所述处理器从所述多个定点数格式候选中针对所述最低有效位的最大或最小指数信息的候选向针对所述最低有效位的最小或最大指数信息的候选依次计算所述多个量化误差，并且当所述多个量化误差之一从减小切换为增加时，结束所述多个量化误差的获得。

5.根据权利要求1所述的信息处理设备，其中，所述处理器在通过使用训练数据执行所述神经网络的训练的训练处理中，对所述确定的定点数格式执行确定。

6.根据权利要求1所述的信息处理设备，其中，在执行具有通过使用训练数据学习到的参数的神经网络的推断的推断处理时，执行对所述确定的定点数格式的确定。

7.根据权利要求1所述的信息处理设备，其中，所述处理器通过分别计算所述多个第一中间数据与多个经量化的中间数据之间的误差的平方之和或者通过分别计算所述多个第一中间数据与所述多个经量化的中间数据之间的差的绝对值之和，来计算所述第一量化误差和所述第二量化误差。

8.根据权利要求1所述的信息处理设备，其中，在根据定点数格式进行量化之前，所述多个第一中间数据是浮点数数据，或者是具有比在所述量化时使用的定点数格式的位长度长的位长度的定点数数据。