[发明专利]用于运行控制系统的方法和设备

说明书

一种用于对机器学习系统（60）、尤其是神经网络进行参数化的方法，所述机器学习系统被设立为根据输入数据（x）分别确定多个类别中的所属的类别（y），其中所述机器学习系统（60）利用正确标记的训练数据来被训练一次并且利用不正确地标记的训练数据来被训练一次，其中所述机器学习系统（60）的超参数（θ_H）被选择为使得相应的经训练的机器学习系统（60）能够使所述正确标记的训练数据的实际分类（y_T）比所述不正确地标记的训练数据的实际分类（y_T）更好地重现。

技术领域

本发明涉及一种用于对机器学习系统进行参数化的方法、一种训练系统、一种控制系统、一种用于运行控制系统的方法、一种计算机程序和一种机器可读存储介质。

背景技术

从DE 20 2017 102 238 U公知一种用于训练机器学习系统的方法，其中利用针对机器学习系统的具有观测值和所属的所希望的第一输出值的训练集合来训练机器学习系统的参数。

发明内容

本发明的优点

在下文中，X表示输入空间（input space）而Y表示输出空间（target space（目标空间））。给定训练数据记录S = ((x₁, y₁), ..., (x_m, y_m))。在这种情况下，根据关于(X,Y)的固定且未知的分布P来取得数据。还给定损失函数（loss function）。对于函数f: X → Y来说，通过R[f]: = 来定义预期损失（英文“expectedloss”）。经验风险（英文“empirical risk”）通过来定义。该参量在下文中也被称作特征参量。

机器学习方法的任务是：学习函数类别F中的使预期损失R[f]最小化的函数f: X→ Y。由于这通常不可能，所以该任务被基于训练数据记录S来学习函数类别F中的使经验风险（expected risk）最小化的函数f_S: X → Y的任务所替代。

如果函数f_S是以这种方式来获得的，则中心问题是f_S针对新的数据点的通用化程度如何。这通过差来表征。

可以利用多个参数来描述机器学习系统、例如神经网络。这些参数可以被划分成：架构参数，比如深度、过滤器的数目和形式、对非线性和连接的选择；和优化参数，如步长、批次大小和迭代次数。换言之，架构参数表征函数f，而优化参数表征在训练期间使用的优化方法。

对这些参数的选择例如可以基于经验知识或者神经网络在验证数据记录上的性能能力。由于神经网络通常通过作为数据点给出的多得多的参数来被参数化，所以存在网络花费高地学习训练数据的风险。这样训练的网络可能不太适合于在安全关键的功能、例如用于自动化驾驶的功能中使用，因为针对新数据点的输出也许不能良好地被掌控。

具有独立权利要求1的特征的方法防止了机器学习系统在训练时花费高地学习训练数据，也就是说可以通过参数搜索来自动化地确定架构参数和/或优化参数。这样确定的架构参数和/或优化参数导致：机器学习系统可以经改善地通用化。

发明内容

在第一方面，本发明涉及一种具有独立权利要求1的特征的方法。本发明的其它方面是并列独立权利要求的主题。有利的扩展方案是从属权利要求的主题。

考虑机器学习系统、尤其是人工神经网络。以便解决分类任务、即将输入空间的输入信号x分配到数目为k个更多类别中的类别y。该分配例如借助于函数来进行，其中是欧几里得空间。f(x)的成分分别对应于这些类别之一并且在这种情况下分别表征所属的类别y是输入信号x的正确分类的概率。为了将输入信号x分配给特定类别，可以使用argmax函数。argmax函数输出f的最大值的坐标，也就是说。