[发明专利]用于创建机器学习系统的方法、设备和计算机程序

说明书

本发明涉及一种用于创建机器学习系统的方法，包括以下步骤。根据第一成本函数（英语：loss function，损失函数）对第一参数集进行迭代优化，并且根据第二成本函数对第二参数集进行迭代优化。根据所述第一参数集确定所述第一成本函数的Hesse矩阵的特征值。当所述特征值之一大于可预给定的阈值时，中断所述优化。本发明还涉及一种计算机程序，一种用于执行该方法的设备以及一种机器可读存储元件，其上存储有所述计算机程序。

技术领域

本发明涉及一种用于创建机器学习系统的方法。本发明同样涉及一种设备和一种计算机程序，它们分别被设计用于执行所述方法。技术领域

Liu，Hanxiao，Karen Simonyan和Yiming Yang的“DARTS: Differentiablearchitecture search（DARTS：可微分体系架构搜索）”，arXiv预印本arXiv：1806.09055（2018）公开了一种借助于梯度下降方法来优化神经网络的体系架构的方法。

发明优点

已经观察到，已知方法不能目的明确地优化机器学习系统的一定体系架构。这可能导致所述机器学习系统对训练数据的差的性能。

而具有独立权利要求1的特征的方法具有以下优点：如果对体系架构的优化朝错误的方向发展并且没有目的明确地运转，则及早识别。由此可以实现对所述体系架构的更鲁棒的优化。

发明内容

在第一方面，提出了一种用于创建机器学习系统的、特别是计算机实现的方法。第一参数集表征所述机器学习系统的体系架构，并且第二参数集对应于所述机器学习系统的参数化。所述方法包括以下步骤：首先根据第一成本函数（英语：loss function，损失函数）对所述第一参数集进行迭代优化，并且根据第二成本函数对所述第二参数集进行迭代优化。这两个参数集的迭代优化可以交替地进行。接下来是关于所述第一参数集确定所述第一成本函数的Hesse矩阵的特征值。接下来当特征值之一大于可预给定的阈值时，中断所述优化。替代地，可以选择一个标准作为阈值，所述标准取决于多个特征值或所有特征值。

所述Hesse矩阵是这样一个矩阵，其在多维实数分析中是函数的二阶导数的模拟（Analogon）。为了确定所述特征值的近似，可以在多个随机抽取的训练数据上评估第一成本函数。优选地，为此根据随机抽取的训练数据批量（英语：mini-batch，小批量）来确定所述第一成本函数。可以在优化第一和第二参数集的每个迭代步骤之后或在可预给定数量的迭代步骤之后确定所述特征值。

所述机器学习系统的体系架构理解为所述机器学习系统的结构。所述机器学习系统的结构可以包括多个层或单元，每个层或单元具有多个（激活）功能。

迭代优化可以理解为重复优化。在此，为每个迭代步骤提出改变了的解，使得该解逐步接近最优解。为此，连续执行优化步骤多次。当满足特征值之一大于所述阈值的条件时，或者当满足所述成本函数已达到可预给定函数值的条件时，或者当达到优化步骤的预给定重复次数时，结束所述优化。然后可以结束所述优化或体系架构搜索，也就是至少输出所述第一参数集。接下来可以根据输出的第一参数集对所述机器学习系统进行初始化并根据所述第二参数集对所述机器学习系统进行参数化。也可以设想的是，在超过所述阈值之后再次从头开始所述方法，或者从先前的迭代步骤处的先前确定的参数集开始继续迭代优化。还可以设想的是，在中断所述优化之后，至少输出在超过所述阈值之前确定的所述第一参数集，特别是选择所属的体系架构。

例如，借助于梯度下降方法进行所述迭代优化。优选地，为此使用针对DARTS提出的梯度下降方法。成本函数可以理解为所述机器学习系统的所确定的输出变量与预给定的训练输出变量之间的差异或偏差。所述训练输出变量分别与训练输入变量关联。这些训练输入变量由所述机器学习系统处理并作为输出变量输出。