[发明专利]用于机器学习系统的学习教练

权利要求书

1.一种机器学习计算机系统，其包括：

第一学生机器学习系统，所述第一学生机器学习系统利用机器学习自动地向输入源数据学习并对所述输入源数据做出预测；以及

第一学习教练机器学习系统，所述第一学习教练机器学习系统与所述第一学生机器学习系统进行通信，其中：

输入到所述第一学习教练机器学习系统的输入包括与所述第一学生机器学习系统的内部状态有关的数据；并且

所述学习教练机器学习系统利用机器学习基于与所述第一学生机器学习系统的所述内部状态有关的所述数据自动地学习并对所述第一学生机器学习系统实现增强以改善所述第一学生机器学习系统的操作。

2.根据权利要求1所述的机器学习计算机系统，其中所述第一学习教练机器学习系统包括模式识别系统，所述模式识别系统识别与所述第一学生机器学习系统不同的模式。

3.根据权利要求1所述的机器学习计算机系统，其中所述第一学生机器学习系统具有与所述第一学生机器学习系统不同的目标。

4.根据权利要求1所述的机器学习计算机系统，其中所述第一学生机器学习系统包括深度神经网络。

5.根据权利要求4所述的机器学习计算机系统，其中所述第一学习教练机器学习系统包括并非深度神经网络的机器学习架构。

6.根据权利要求1所述的机器学习计算机系统，其中所述增强包括用于所述第一学生机器学习系统的一个或多个修正超级参数，所述一个或多个修正超级参数改善所述第一学生机器学习系统的学习。

7.根据权利要求6所述的机器学习计算机系统，其中所述一个或多个修正超级参数包括用于所述第一学生机器学习系统的小批量大小。

8.根据权利要求6所述的机器学习计算机系统，其中所述一个或多个修正超级参数包括用于所述第一学生机器学习系统的学习速率。

9.根据权利要求6所述的机器学习计算机系统，其中所述一个或多个修正超级参数包括用于所述第一学生机器学习系统的正则化参数。

10.根据权利要求6所述的机器学习计算机系统，其中所述一个或多个修正超级参数包括用于所述第一学生机器学习系统的动量参数。

11.根据权利要求1所述的机器学习计算机系统，其中所述增强包括对所述第一学生机器学习系统的结构性改变。

12.根据权利要求11所述的机器学习计算机系统，其中：

所述第一学生机器学习系统包括具有多个层的网络，其中每一层包括一个或多个节点；并且

所述结构性改变包括要被添加到所述第一学生机器学习系统的所述网络的选定层中的一个或多个附加的节点。

13.根据权利要求12所述的机器学习计算机系统，其中所述学习教练机器通过向所述第一学生机器学习系统提供与一组特定的数据输入值相关联的一组虚拟节点和针对所述虚拟节点的激活水平来实现所述一个或多个附加的节点。

14.根据权利要求13所述的机器学习计算机系统，其中：

所述选定层中的现有节点接收来自所述虚拟节点的输入；

所述现有节点在训练期间并不向虚拟节点反向传播；

所述虚拟节点向所述第一学生机器学习系统的所述网络中位于所述选定层下方的层反向传播；并且

所述虚拟节点的激活由所述第一学习教练机器学习系统控制。