[发明专利]非暂态计算机可读记录介质、学习方法和信息处理设备

权利要求书

1.一种非暂态计算机可读记录介质，其中存储有使计算机执行处理的计算机程序，所述处理包括：

开始用于构建包括多个层的模型的学习处理，所述多个层中的每个层均包括参数，所述学习处理执行迭代，所述迭代中的每个迭代包括：使用训练数据计算所述模型的输出误差；以及基于所述输出误差更新所述多个层中的每个层的所述参数的值；

基于所述学习处理的第一迭代的执行结果，在所述多个层之中选择两个或更多个候选层，所述两个或更多个候选层表示下述层的候选：在所述层中的每个层中对所述参数的值的更新要被抑制；以及

基于直至所述第一迭代为止所执行的迭代的次数来计算随所执行的迭代的次数的增加而增加的比率值并且在所述两个或更多个候选层之中确定一个或更多个层，在所述一个或更多个层中的每个层中，对所述参数的值的更新要在所述第一迭代之后的第二迭代被抑制，所述一个或更多个层的数量是根据所述比率值而确定的。

2.根据权利要求1所述的非暂态计算机可读记录介质，其中：

根据所述比率值确定的所述一个或更多个层的数量是通过将所述两个或更多个候选层的数量乘以所述比率值而计算的。

3.根据权利要求1所述的非暂态计算机可读记录介质，其中：

与所执行的迭代的次数相对应的比率值是基于S形曲线而计算的。

4.根据权利要求1所述的非暂态计算机可读记录介质，其中：

对所述参数的值的更新在所述第二迭代中在所述两个或更多个候选层之中的除了其数量根据所述比率值而确定的所述一个或更多个层之外的每个剩余层中执行。

5.根据权利要求1所述的非暂态计算机可读记录介质，其中：

所述学习处理中的每个迭代包括：计算指示所述输出误差相对于所述参数的梯度的误差梯度；以及基于所述误差梯度更新所述参数的值，并且

所述选择两个或更多个候选层包括：针对所述误差梯度的迭代间变化来监测所述多个层中的每个层；以及选择其迭代间变化低于阈值的所述两个或更多个候选层中的每个候选层。

6.根据权利要求1所述的非暂态计算机可读记录介质，其中：

所述模型是多层神经网络。

7.根据权利要求1所述的非暂态计算机可读记录介质，其中：

所述学习处理中的每个迭代包括：计算指示所述输出误差相对于所述参数的梯度的误差梯度；以及基于所述误差梯度更新所述参数的值，

所述处理还包括：针对所述多个层中的每个层，计算直至所述第一迭代为止所执行的迭代的所述误差梯度的平均值，以及

基于所述误差梯度的平均值，确定其数量根据所述比率值确定的所述一个或更多个层中的每个层。

8.根据权利要求1所述的非暂态计算机可读记录介质，其中：

所述学习处理中的每个迭代包括：计算指示所述输出误差相对于所述参数的梯度的误差梯度；以及基于所述误差梯度更新所述参数的值，

所述处理还包括：针对所述误差梯度的迭代间变化来监测所述多个层中的每个层；以及针对所述多个层中的每个层，计算直至所述第一迭代为止所执行的迭代的所述迭代间变化的平均值，以及

基于所述迭代间变化的平均值，确定其数量根据所述比率值确定的所述一个或更多个层中的每个层。

9.根据权利要求1所述的非暂态计算机可读记录介质，其中：

所述多个层被分类为多个块，所述多个块中的每个块包括两个或更多个层，并且

其数量根据所述比率值确定的所述一个或更多个层中的每个层是基于所述层所属的块的标识来确定的。

10.根据权利要求1所述的非暂态计算机可读记录介质，其中：

其数量根据所述比率值确定的所述一个或更多个层中的每个层是基于所述一个或更多个层的间隔来确定的。