[发明专利]信息处理设备和信息处理方法

权利要求书

1.一种信息处理设备，包括使用神经网络执行学习的学习单元，其中，

所述学习单元基于具有用于学习来自所述神经网络的输出的理想状态的间隙值动态地改变在学习期间的批大小的值。

2.根据权利要求1所述的信息处理设备，其中，具有所述理想状态的所述间隙值至少包括损失。

3.根据权利要求2所述的信息处理设备，其中，当基于所述损失预计学习收敛时，所述学习单元增加在学习期间的所述批大小的值。

4.根据权利要求3所述的信息处理设备，其中，所述学习单元基于所述损失的n阶微分值增加在学习期间的所述批大小的值。

5.根据权利要求4所述的信息处理设备，其中，所述学习单元基于所述损失的值和所述损失的梯度中的至少任一者是否下降到阈值以下来增加在学习期间的所述批大小的值。

6.根据权利要求2所述的信息处理设备，其中，当基于所述损失预计学习发散时，所述学习单元减少在学习期间的所述批大小的值。

7.根据权利要求1所述的信息处理设备，其中，所述学习单元基于回合动态地改变所述批大小的值。

8.根据权利要求7所述的信息处理设备，其中，所述学习单元由于回合的进行来增加所述批大小的值。

9.根据权利要求8所述的信息处理设备，其中，当基于具有所述理想状态的间隙值预计学习发散时，所述学习单元重新加载前一回合中的网络模型。

10.根据权利要求9所述的信息处理设备，其中，当重新加载所述前一回合中的所述网络模型时，所述学习单元将所述批大小的值设置为小于在所述前一回合中设置的值。

11.根据权利要求7所述的信息处理设备，其中，所述学习单元在每个回合中增加所述批大小的值。

12.根据权利要求1所述的信息处理设备，还包括：批大小改变单元，所述批大小改变单元基于所述学习单元设置的值来控制所述批大小的增加或减少。

13.根据权利要求12所述的信息处理设备，其中，所述批大小改变单元重构GPU中的模型，以控制所述批大小的增加或减少。

14.根据权利要求12所述的信息处理设备，其中，所述批大小改变单元增加或减少用于学习的计算循环的数量，以控制所述批大小的增加或减少。

15.根据权利要求12所述的信息处理设备，其中，所述批大小改变单元增加或减少用于学习的GPU的数量，以控制所述批大小的增加或减少。

16.根据权利要求12所述的信息处理设备，其中，当存在另外能够利用的GPU时，所述批大小改变单元将所述GPU分配给学习以控制所述批大小的增加。

17.根据权利要求12所述的信息处理设备，其中，当不存在另外能够利用的GPU并且在当前使用的GPU的存储器中存在空闲空间时，所述批大小改变单元重构所述当前使用的GPU中的模型，以控制所述批大小的增加。

18.根据权利要求12所述的信息处理设备，其中，在当前使用的GPU的存储器中没有空闲空间时，所述批大小改变单元增加用于学习的计算循环的数量，以控制所述批大小的增加。

19.根据权利要求1所述的信息处理设备，其中，具有所述理想状态的所述间隙值包括训练误差和验证误差中的至少任一者。

20.一种信息处理方法，包括由处理器执行使用神经网络的学习，其中，

所述学习还包括基于具有用于学习来自所述神经网络的输出的理想状态的间隙值来动态地改变在学习期间的批大小的值。