[发明专利]神经网络方法和装置

说明书

提供了神经网络方法和装置。处理器实现的神经网络方法包括：基于所确定的输入数据的类的数量来确定输出运算结果的神经网络层的精度，以及根据所确定的精度来处理所述层的参数。

相关申请的交叉引用

本申请要求2018年5月3日在美国专利商标局递交的美国专利申请序列NO.62/666,269和2018年7月4日在韩国知识产权局递交的韩国专利申请No.10-2018-0077496的权益，其中每个专利申请的全部公开内容被并入本文中用于所有目的。

技术领域

本公开涉及神经网络方法和装置。

背景技术

特征提取、模式识别和/或分析(仅作为示例)的技术自动化已经通过作为专门的计算架构的处理器实现的神经网络模型而得到实现，该处理器实现的神经网络模型在经过大量训练之后可以提供计算上直观的特征提取或识别、输入模式与输出模式之间的映射、输入模式的模式识别、归类或各种形式的分类。提取这种信息或识别、生成这种映射、执行这种模式识别或执行这种归类或分类的经训练的能力可以被称为神经网络的学习能力。这种经训练的能力还可以使专门的计算架构能够将输入模式或对象或输入模式或对象的一部分例如分类为属于一个或多个预定组的成员。此外，由于专门的训练，这种经过特殊训练的神经网络由此可以具有针对例如神经网络可能没有针对其被训练的输入模式来生成相对准确或可靠的输出的推广能力。然而，因为这些运算是通过这种专门的计算架构来执行的，并且以与在非计算机实现的方法或非自动化方法中执行它们不同的自动化方式来执行，所以它们还招致仅由于它们被实现的自动化和专门的计算架构方式而出现的问题或缺陷。

这种神经网络实现针对复杂的输入数据还需要许多运算，这可能需要大的功耗并且需要长的处理时间。此外，所实现的用于降低这种处理需求的尝试导致准确度和精度的降低。

发明内容

提供该发明内容以便以简化的形式来介绍下面将在具体实施方式中被进一步描述的概念的选择。该发明内容不意在识别所要求保护的主题的关键特征或必要特征，其也不意在被用作帮助确定所要求保护的主题的范围。

在一个一般方面中，一种处理器实现的神经网络方法包括：基于所确定的输入数据的类的数量来确定输出运算结果的神经网络层的精度，以及根据所确定的精度来处理所述层的参数。

所述方法可以基于对所述层的参数的处理的结果来指示所述神经网络的结果。所述方法可以包括：基于对所述层的参数的处理来生成损失信息，以及在考虑所述神经网络层的训练精度的情况下基于所生成的损失来训练所述神经网络。

所述方法可以包括：与所确定的类的数量正相关地确定所述精度。

所述方法可以包括：确定所述类的数量是否满足预定阈值，以及当确定所述类的数量满足所述预定阈值时，确定所述层的精度高于所述神经网络中其他层的精度。

所述方法可以包括：所述精度与所述层的参数的比特宽度相对应。

所述方法可以包括：所述层是所述神经网络的最后的全连接层。

所述方法可以包括：所述神经网络还包括连接到所述层并且在所述层之后的softmax层和连接到所述softmax层的损失层，并且所述方法还可以包括：基于根据由所述损失层生成的损失所导出的交叉熵损失来训练所述神经网络。

所述方法可以包括：所述参数包括所述交叉熵损失相对于向所述层输入的所述运算结果的梯度和所述层的权重。

在另一一般方面中，一种计算机可读记录介质存储指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行上述处理器实现的神经网络方法。