[发明专利]用于机器学习系统的学习教练

说明书

一种机器学习系统，其包括教练机器学习系统，所述教练机器学习系统利用机器学习来帮助学生机器学习系统学习其自己的系统。通过监测学生学习系统，所述教练机器学习系统可以(通过机器学习技术)学习用于所述学生学习系统的“超级参数”，所述超级参数控制所述学生学习系统的机器学习过程。机器学习教练还可以确定针对学生学习系统架构的结构性修改。所述学习教练还可以控制流向所述学生学习系统的数据流。

优先权

本PCT申请要求以下美国临时专利申请的优先权：(1)2016年9月28日提交的标题为“利用问答法教练的深度学习(Deep Learning With Socratic Coaches)”的系列第62/400,853号；以及(2)2017年3月24日提交的标题为“用于机器学习系统的学习教练(Learning Coach for Machine Learning System)”的系列第62/476,280号。这两个临时申请通过引用以其整体并入本文。

背景技术

机器学习是一种通过计算机实现的用来自我学习算法的过程，其可以通过由采样数据输入构建模型对数据做出预测，而无需被明确地编程为如此。存在多种类型的机器学习系统类型，例如，人工神经网络(ANN)、决策树、支持向量机(SVM)以及其它类型。这些系统在利用新数据做出有意义的预测之前首先需要根据一些采样输入接受训练。例如，ANN通常由多层神经元组成。每个神经元与多个其它神经元相连接，并且链路可以增强或抑制其对相连接的神经元的激活状态的影响。每个单独的神经元单元可以具有将其所有输入的值合并在一起的求和函数。可以存在对每个连接和对神经元自身的阈值函数或者极限函数，使得信号在传播到其它神经元之前必须超越极限。用于输入到节点的每个相应输入的权重可以通过误差代价函数的偏导数的反向传播接受训练，同时估计值在训练数据采样上累积。大型复杂ANN可以在节点之间具有数百万的连接，并且需要学习针对每个连接的权重。

发明内容

在一个方面，本发明涉及一种计算机系统，其包括一个或多个“学生”机器学习系统连同至少一个“教练”机器学习系统。教练机器学习系统自己利用机器学习来帮助学生机器学习系统。例如，通过监测学生学习系统，教练机器学习系统可以(通过机器学习技术)学习用于学生机器学习系统的“超级参数”，所述超级参数控制学生学习系统的机器学习过程。例如，在其中学生机器学习系统使用深度神经网络(DNN)的情况下，习得的超级参数可以包括小批量大小M、学习速率η、正则化参数λ和/或动量参数μ。另外，一组习得的超级参数可以用于确定学生机器学习系统的网络的所有权重，或者自定义的习得超级参数可用于网络中的不同权重。例如，学生学习系统的每个权重(或者其它可训练参数)可以具有其自己的一组自定义的习得超级参数，其可以被学习系统教练学习。

另外地或者作为学习超级参数的替代，机器学习教练可以确定针对学生学习系统架构的结构性修改。例如，在学生学习系统使用DNN的情况下，机器学习教练可以修改DNN的结构，例如通过添加或者删除层和/或通过添加或删除层中的节点。另外，学生学习系统可以包括机器学习系统的套件。学习教练在此类场景下可以控制流向各个机器学习系统的数据流和/或向套件添加构件。

学生学习系统和机器学习教练优选地并行操作。也就是说，机器学习教练在学生学习系统处于学习过程中的同时观察学生学习系统，并且机器学习教练在学生学习系统处于学习过程中的同时对学生学习系统做出其改变(例如，超级参数、结构性修改等)。学习教练和学生可以是相同或者不同类型的机器学习架构。

学习教练可以具有与学生学习系统的目标不同的目标函数。例如，学生学习系统可以最小化误差率或者误差的代价的一些其它量度，而学习教练对学生学习系统做出结构性修改以优化误差的代价和执行计算的代价的一些组合。学习教练还可以对学生学习系统做出修改，特别是添加，以提高其能力并同时保证在性能方面不会有退化。

通过本文的描述本发明的这些有益效果以及其它有益效果将是显而易见的。

附图说明