[发明专利]神经网络方法和装置

权利要求书

1.一种处理器实现的神经网络方法，所述方法包括：

基于所确定的输入数据的类的数量来确定输出运算结果的神经网络层的精度；以及

根据所确定的精度来处理所述层的参数。

2.根据权利要求1所述的方法，还包括：基于对所述层的参数的处理的结果来指示所述神经网络的结果。

3.根据权利要求1所述的方法，还包括：基于对所述层的参数的处理来生成损失信息；以及

在考虑所确定的所述神经网络层的精度的情况下，基于所生成的损失来训练所述神经网络。

4.根据权利要求1所述的方法，其中，在确定所述精度时，与所确定的类的数量正相关地确定所述精度。

5.根据权利要求1所述的方法，还包括：确定所述类的数量是否满足预定阈值，以及当确定所述类的数量满足所述预定阈值时，确定所述层的精度高于所述神经网络中其他层的精度。

6.根据权利要求1所述的方法，其中，所述精度与所述层的参数的比特宽度相对应。

7.根据权利要求1所述的方法，其中，所述层是所述神经网络的最后的全连接层。

8.根据权利要求1所述的方法，其中，所述神经网络还包括连接到所述层并且在所述层之后的softmax层和连接到所述softmax层的损失层，并且所述方法还包括：基于根据由所述损失层生成的损失所导出的交叉熵损失来训练所述神经网络。

9.根据权利要求1所述的方法，其中，所述参数包括所述交叉熵损失相对于向所述层输入的所述运算结果的梯度和所述层的权重。

10.一种存储指令的计算机可读记录介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行权利要求1的方法。

11.一种神经网络装置，所述装置包括：

处理器，被配置为：获得与输入数据被分类到的类的数量有关的信息，基于所获得的与所述类的数量有关的信息来确定输出运算结果的层的精度，以及根据所确定的精度来处理输出运算结果的所述层中的参数。

12.根据权利要求11所述的装置，还包括：基于对所述层的参数的处理的结果来指示所述神经网络的结果。

13.根据权利要求11所述的装置，还包括：基于对所述层的参数的处理来生成损失信息；以及

在考虑所确定的所述神经网络层的精度的情况下，基于所生成的损失来训练所述神经网络。

14.根据权利要求11所述的装置，其中，所述处理器还被配置为：确定输出运算结果的所述层的精度要基于所述类的数量。

15.根据权利要求11所述的装置，其中，所述处理器还被配置为：当所述类的数量大于或等于预定阈值时，确定输出运算结果的所述层的精度要高于所述神经网络中其他层的精度。

16.根据权利要求11所述的装置，其中，所述精度表示要在所述层中被处理的参数的比特宽度。

17.根据权利要求11所述的装置，其中，输出运算结果的所述层是所述神经网络中的最后的全连接层。

18.根据权利要求11所述的装置，其中，输出运算结果的所述层连接到softmax层和损失层，并且所述处理器还被配置为：基于交叉熵损失的梯度来训练所述神经网络。

19.根据权利要求11所述的装置，其中，所述参数包括所述交叉熵损失相对于所述运算结果的梯度和所述层的权重。

20.根据权利要求11所述的装置，还包括存储指令的存储器，所述指令在由所述处理器执行时将所述处理器配置为执行对所述层的精度的确定和对所述层的参数的处理。