[发明专利]学习方法和信息处理设备

权利要求书

1.一种非暂态计算机可读记录介质，存储有计算机程序，所述计算机程序使得计算机执行包括以下的处理：

开始用于生成包括多个层的模型的学习处理，每个层包括参数，所述学习处理通过使用训练数据来重复地计算所述模型的输出的误差，针对所述多个层中的每个层计算指示关于所述参数的误差的梯度的误差梯度，并且基于所述误差梯度更新所述参数；

针对所述多个层中的第一层，计算在所述学习处理中的第一迭代中计算的第一误差梯度与在所述第一迭代之后的第二迭代中计算的第二误差梯度之间的差；以及

在所述差小于阈值的情况下，在所述第二迭代之后的第三迭代中，跳过所述第一层的误差梯度的计算和所述参数的更新。

2.根据权利要求1所述的非暂态计算机可读记录介质，其中，所述计算机程序还使得所述计算机执行基于初始误差梯度来确定所述阈值的处理，所述初始误差梯度指示在响应于所述学习处理的开始而执行的迭代中计算的误差梯度。

3.根据权利要求2所述的非暂态计算机可读记录介质，

其中，所述计算机程序还使得所述计算机执行以下处理：设置用于更新所述参数的学习率，并且基于所述学习处理已经执行的迭代的数量来改变所述学习率，以及

其中，所述阈值的确定包括基于不同的初始误差梯度来改变所述阈值，所述不同的初始误差梯度指示在响应于所述学习率的改变而执行的迭代中计算的误差梯度。

4.根据权利要求1所述的非暂态计算机可读记录介质，其中，在所述学习处理中的每次迭代中，所述计算机程序还使得所述计算机执行以下处理：通过使用多个处理节点来根据不同的训练数据计算不同的误差，通过使用所述多个处理节点来根据所述不同的误差计算不同的误差梯度，通过允许所述多个处理节点彼此通信来对所述不同的误差梯度进行合成，以及基于所合成的误差梯度更新所述参数，以及

其中，所述跳过包括：针对所述第一层，跳过所述不同的误差梯度的计算、所述多个处理节点之间的通信以及所述参数的更新。

5.根据权利要求1所述的非暂态计算机可读记录介质，其中，所述模型是多层神经网络。

6.根据权利要求1所述的非暂态计算机可读记录介质，其中，所述第二迭代(m)紧接在所述第一迭代之后，以及所述第三迭代紧接在所述第二迭代之后。

7.根据权利要求1所述的非暂态计算机可读记录介质，

其中，所述差的计算包括针对所述多个层中的每个层计算所述差，以及

其中，所述跳过包括：在所述多个层中确定所述差小于所述阈值的层，以及针对所确定的层，跳过所述误差梯度的计算和所述参数的更新。

8.一种由计算机执行的学习方法，所述学习方法包括：

开始用于生成包括多个层的模型的学习处理，每个层包括参数，所述学习处理包括：通过使用训练数据来重复地计算所述模型的输出的误差，针对所述多个层中的每个层计算指示关于所述参数的误差的梯度的误差梯度，并且基于所述误差梯度更新所述参数；

针对所述多个层中的第一层，计算在所述学习处理中的第一迭代中计算的第一误差梯度与在所述第一迭代之后的第二迭代中计算的第二误差梯度之间的差；以及

在所述差小于阈值的情况下，在所述第二迭代之后的第三迭代中，跳过所述第一层的误差梯度的计算和所述参数的更新。

9.一种信息处理设备，包括：

存储装置，其用于存储包括多个层的模型和训练数据，每个层包括参数；以及

用于开始学习处理的处理装置，所述学习处理通过使用所述训练数据来重复地计算所述模型的输出的误差，针对所处多个层中的每个层计算指示关于所述参数的误差的梯度的误差梯度，并且基于所述误差梯度更新所述参数，针对所述多个层中的第一层，计算在所述学习处理中的第一迭代中计算的第一误差梯度与在所述第一次迭代之后的第二次迭代中计算的第二误差梯度之间的差，以及在所述差小于阈值的情况下，在所述第二迭代之后的第三迭代中跳过针对所述第一层的所述误差梯度的计算和所述参数的更新。