[发明专利]学习装置、识别装置、以及程序

权利要求书

1.一种学习装置，包括：

第一学习单元，所述第一学习单元基于和连接至第一神经网络的前级的第二神经网络的输入数据相同的数据与所述第一神经网络的输出数据之间的第一误差而学习所述第一神经网络的参数；和

第二学习单元，所述第二学习单元基于不同于所述输入数据的数据与所述第二神经网络的输出数据之间的第二误差、以及从所述第一神经网络发送的误差的反符号数据而学习所述第二神经网络的至少一些参数。

2.根据权利要求1所述的学习装置，其中，所述第一学习单元学习所述第一神经网络的参数，以使得所述第一误差减少。

3.根据权利要求2所述的学习装置，其中，所述第一学习单元基于所述第一误差使用误差反向传播方法来学习所述第一神经网络的参数。

4.根据权利要求1所述的学习装置，其中，所述第二学习单元学习所述第二神经网络的至少一些参数，以使得所述第一误差增加。

5.根据权利要求1所述的学习装置，其中，所述第二学习单元基于通过对所述第二误差和所述反符号数据执行预定操作而获得的操作结果来学习所述第二神经网络的至少一些参数。

6.根据权利要求5所述的学习装置，其中，所述预定操作包括加法。

7.根据权利要求5所述的学习装置，其中，所述第二学习单元基于所述第二误差和所述反符号数据使用误差反向传播方法来学习所述第二神经网络的至少一些参数。

8.根据权利要求7所述的学习装置，其中，所述第二学习单元将所述操作结果发送至所述第二神经网络。

9.根据权利要求1所述的学习装置，其中，第三神经网络与所述第一神经网络并联连接至所述第二神经网络的后级；并且

所述第二学习单元将所述第二误差从所述第三神经网络发送至所述第二神经网络。

10.根据权利要求9所述的学习装置，其中，所述第二学习单元基于所述第三神经网络的输出数据与教师数据之间的第三误差使用误差反向传播方法来对所述第三神经网络的参数进行更新，并且将所述第二误差发送至所述第二神经网络。

11.根据权利要求1所述的学习装置，其中，多个第一神经网络并联连接至所述第二神经网络的后级，

所述第一学习单元基于和所述第二神经网络的输入数据相同的数据与所述多个第一神经网络中的每个第一神经网络的输出数据之间的第一误差而学习所述多个第一神经网络的参数；并且

所述第二学习单元基于不同于所述输入数据的数据与所述第二神经网络的输出数据之间的第二误差、以及从所述每个第一神经网络发送的误差的反符号数据而学习所述第二神经网络的至少一些参数。

12.根据权利要求1所述的学习装置，其中，从所述第一神经网络发送的所述误差至所述反符号数据的转换是预定转换，所述预定转换在所述反符号数据的绝对值随着所述误差的绝对值的增加而增加的同时使符号反转。

13.根据权利要求1所述的学习装置，其中，所述输入数据包括图像数据和语音数据中的至少一种数据。

14.根据权利要求1所述的学习装置，其中，所述第一误差是均方差。

15.根据权利要求10所述的学习装置，其中，所述第三误差是在对所述输出数据应用SoftMax函数之后通过对与所述输入数据不同的数据进行交叉熵而获得的值、或是基于所述输出数据的中心损失。