[发明专利]使用符号编程的机器学习算法搜索

说明书

描述了一种用于搜索输出机器学习(ML)算法以执行ML任务的方法。该方法包括：接收指定输入ML算法的数据；接收指定搜索候选ML算法的搜索算法和评估候选ML算法的性能的评估功能的数据；从输入ML算法生成表示符号树的数据；从符号树生成表示超符号树的数据；为候选ML算法搜索从超符号树定义一组可能的具体符号树的算法搜索空间，并训练候选ML算法以确定每个候选ML算法的相应性能度量；并且，基于确定的性能度量，在训练的候选ML算法中选择一种或多种训练的候选ML算法。

相关申请的交叉引用

本申请是在2020年5月5日提交的美国临时专利申请No.63/035,551的非临时申请并要求对于其的优先权，该临时申请的全部内容通过引用并入本文。

技术领域

本说明书涉及确定机器学习算法以执行机器学习任务。

背景技术

机器学习算法可以是例如神经网络。神经网络是机器学习模型，它使用一层或多层非线性单元来对于接收的输入预测输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作对于在网络中下一层的输入，该下一层即下一个隐藏层或输出层。网络的每一层根据相应参数集的当前值从接收到的输入生成输出。

发明内容

本说明书描述了在一个或多个位置的一个或多个计算机上实现为计算机程序的系统，该系统确定输出机器学习算法以执行特定机器学习任务。

本说明书中描述的主题可以在特定实施例中实施，以便实现以下优点中的一个或多个。通过将通过搜索空间的搜索(即神经架构搜索)作为控制流原语来操纵在定义搜索空间的符号树中的符号，所描述的系统可以有效地识别用于多种机器学习任务中的任何一个的高性能机器学习算法。特别是，通过使用符号编程在符号范式下制定机器学习算法的关键元素，所描述的技术允许目标机器学习算法(或目标程序)的所有部分普遍可搜索，并使搜索空间变得简单、富有表现力并且易于修改。因此，搜索算法可以以几乎零成本被重用和切换，使它们能够以计算有效的方式在复杂的搜索流中相互协作。此外，搜索过程可以被大大简化为带有反馈操作的for循环，允许基本的控制流模式表达任意复杂的搜索流。因此，通过使用所描述的手段，可以很容易地部署复杂的搜索流来识别高性能算法，可以容易地研究新的搜索空间，并且可以以较低的成本引入新的搜索算法。因此，本文描述的技术可以基于项目的不同概况、共享代码的比例以及引导新搜索以及引入复杂搜索方法和算法上的开发成本，在深度和广度上有效地扩展自动化机器学习(AutoML)。

本说明书的主题的一个或多个实施例的细节在附图和以下描述中被阐述。本主题的其他特征、方面和优点将从描述、附图和权利要求中变得显而易见。

附图说明

图1示出了示例机器学习算法搜索系统。

图2A示出了输入机器学习算法的示例。

图2B示出了示例符号树。

图2C示出了超符号树的示例。

图3图示了用于针对候选ML算法搜索搜索空间的示例过程。

图4是用于搜索输出机器学习算法以执行机器学习任务的示例过程的流程图。

不同附图中相同的附图标号和标记指示相同的元件。

具体实施方式

本说明书描述了在一个或多个位置的一个或多个计算机上实现为计算机程序的系统，该系统确定输出机器学习算法以执行特定机器学习任务。

该机器学习算法定义了以下一项或多项：用于执行任务的机器学习模型(神经网络)的模型架构；用于训练模型以执行任务的超参数；或，在训练期间、之后或两者应用于输入的预处理技术(例如，数据增强策略)。