[发明专利]信息处理装置、神经网络程序和用于神经网络的处理方法

说明书

本发明公开了信息处理装置、神经网络程序和用于神经网络的处理方法。信息处理装置包括处理器，该处理器包括执行积和运算的第一运算电路、执行特定运算的第二运算电路和寄存器。该处理器在神经网络中的第一层中执行包括特定运算的第一运算。在当由第二运算电路执行特定运算时第一运算所需的第二运算时间小于转储时间的情况下，处理器通过由第二运算电路计算特定运算的第二方法来执行第一运算。或者，在当通过由第一运算电路通过近似计算来计算特定运算的第一方法执行时第一运算所需的第一运算时间小于转储时间的情况下，处理器通过第一方法来执行第一运算。

技术领域

本发明涉及信息处理装置、神经网络程序和用于神经网络的处理方法。

背景技术

深度学习(下文称为DL)是使用多层神经网络(下文称为NN)的机器学习。作为深度学习的示例的深度神经网络(下文称为DNN)是输入层、多个隐藏层和输出层按顺序被布置在其中的网络。每一层具有一个或多个节点，并且每个节点具有值。一层与下一层之间的节点通过边彼此连接，并且每个边具有变量(或参数)，例如权重或偏差。

在NN中，例如，通过基于前一级中的边的权重和节点的值执行预定运算(或计算(computation)、计算(calculation)或算术运算，下文称为“运算”)来获得每一层中的节点的值。当输入数据被输入至输入层的节点时，通过预定运算获得下一层(第一层)中的节点的值。然后，将通过该运算获得的数据输入至下一层(第二层)，该下一层通过针对该层(第二层)的预定运算获得该层(第二层)中的节点的值。然后，作为最终层的输出层中的节点的值变成针对输入数据的输出数据。

NN中的多个层基于变量和来自先前层的输入数据执行各种运算。多个层的运算包括：(1)基本算术运算，即，加、减、乘和除；(2)积和运算，在该积和运算中一起执行乘法和加法；(3)逻辑运算；以及(4)特殊运算，例如自乘、除法(包括倒数)、双曲正切(tanh)、平方根以及S形函数。

处理器通常包括积和运算电路和特殊运算电路作为运算电路。积和运算电路除了乘法器和加法器-减法器以外还包括逻辑运算电路，以便执行积和运算。另一方面，特殊运算电路包括执行除了由积和运算电路执行的运算以外的特殊运算的多个运算电路。作为示例，在本说明书中由特殊运算电路中的运算电路执行除法。

NN包括例如执行卷积运算的卷积层(卷积神经网络)以及当执行图像识别时紧接在卷积层之后插入的池化层。例如，池化层可以是选择卷积层的输出的多个元素(多个像素)的最大值的最大池化层。NN还包括对通道之间的像素进行归一化的局部响应归一化层(LRN层)、对通道中的像素进行归一化的批量归一化层(BN层)、全连接层、用作输出层的激活函数的Softmax层、作为非线性激活函数的ReLU层以及临时地对网络中除卷积层和池化层以外的一些节点进行去激活的Dropout层。在循环神经网络(RNN)中提供了长短期记忆层(LSTM层)。

在例如日本专利申请公开第H06-215021号、日本专利申请公开第2005-275626号和ImageNet Classification with Deep Convolutional Neural Networks,AlexKrishwvsky,Ilya Sutskever,Geoffrey E.Hinton,(https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolu tional-neural-networks.pdf)中描述了NN。

存在这样的情况：NN中的层的运算仅包括由作为通用运算电路的积和运算电路执行的非特殊运算，还存在这样的情况：层的运算包括除非特殊运算以外的特殊运算，并且包括由积和运算电路执行的运算和由特殊运算电路执行的运算。

发明内容