[发明专利]用于改进机器学习系统的稳健性的方法和设备

说明书

一种用于运行探测器（70）的方法，所述探测器配置为检查输送给机器学习系统（60）的数据信号（x）是否已被篡改，其中所述机器学习系统（60）首先借助经篡改的数据信号（x^adv）而被对抗训练，其中已通过篡改训练数据信号（x^train）来测定经篡改的数据信号（x^adv），并且其中所述机器学习系统（60）被训练成：当给所述机器学习系统（60）输送训练数据信号（x^train）和经篡改的数据信号（x^adv）时，分别提供相同的输出信号（y），其中所述探测器（70）借助另一经篡改的数据信号（x^adv;2）来训练，所述另一经篡改的数据信号根据经过训练的机器学习系统（60）来产生。

技术领域

本发明涉及一种用于运行探测器的方法、一种计算机程序、一种机器可读的存储介质和一种计算机；所述计算机程序包括指令，所述指令配置为当所述计算机程序在计算机上实施时实施该方法；在所述机器可读的存储介质上存储有所述计算机程序；所述计算机配置为实施所述方法。

背景技术

从未公开的DE 20 2017 102 381中已知了一种用于生成经篡改的数据信号来欺骗第一机器学习系统的设备，该第一机器学习系统配置为测定所接收到的一维或者多维数据信号的语义分割，其中该设备包括机器可读的存储介质，在所述机器可读的存储介质上存储有指令，所述指令在通过计算机实施时引起该计算机实施具有下列步骤的方法：

a）测定经篡改的数据信号的所期望的语义分割；以及

b）根据所接收到的数据信号，生成经篡改的数据信号（和经篡改的数据信号的所测定的期望的语义分割以及所估计的语义分割）。

发明内容

本发明的优点

与此相对照，具有独立权利要求1的特征的方法有如下优点：该方法能够实现使机器学习系统的输出信号相对于对抗样本（英语：adversarial examples）特别稳健。对抗样本是略微经过篡改的输入数据（所述输入数据在图像数据中类似于未经篡改的输入数据，使得这些输入数据对于人类专家而言事实上不能被区分），所述略微经过篡改的输入数据可导致极大改变。例如可能可设想的是，恶意攻击者采用这种对抗样本，以便将自主机器人引入歧途，其方式是：该攻击者例如抑制将实际上存在的流标记为“Fluss（流）”的语义分割，这可能会导致威胁基于语义分割来执行其路线规划的自主机器人。利用根据本发明的方法，可以减小这种攻击的有效性。

有利的改进方案是独立权利要求的主题。

本发明的公开

在第一方面，本发明涉及一种用于运行探测器的方法，所述探测器配置为检查输送给机器学习系统的数据信号是否是经篡改的数据信号、即是否已被篡改，并且因此可能将导致机器学习系统的有错误的输出信号，其中机器学习系统首先借助经篡改的数据信号已被对抗训练。术语“对抗训练”用英语常常命名为adversarial training。

在这种情况下，通过篡改训练数据信号来测定经篡改的数据信号，并且机器学习系统在对抗训练时被训练成：与给机器学习系统是输送训练数据信号还是输送经篡改的数据信号无关地，分别提供相同的输出信号。

接着，借助另一经篡改的数据信号来训练探测器，所述另一经篡改的数据信号根据经过训练的机器学习系统来产生。

也就是说，探测器被训练成判定，当给该探测器输送另一经篡改的数据信号时，输送给该探测器的数据信号是经篡改的数据信号、即已被篡改；并且探测器被训练成判定，当输送给该探测器的数据信号不是另一经篡改的数据信号时，情况不是如此。

这有如下优点：探测器变得特别稳健，因为可能的其他经篡改的数据信号的空间小于经篡改的数据信号的空间。这样经过训练的探测器以此尤其是特别好地是可采用的，以便探测到输入信号是对抗样本。