[发明专利]用于为神经网络生成反事实数据样本的设备和方法

说明书

本公开涉及用于为神经网络生成反事实数据样本的方法和设备。根据各种实施例，描述了一种用于基于输入传感器数据样本为神经网络生成反事实数据样本的方法，包括：使用神经网络确定对于输入传感器数据样本的类别预测，除了类别预测之外，还确定类别预测的不确定性的估计，生成神经网络针对其确定与输入传感器数据样本不同的类别预测的候选反事实数据样本，确定损失函数，其中所述损失函数包括由所述神经网络对于候选反事实数据样本做出的类别预测的不确定性的估计，基于所确定的损失函数修改所述候选反事实数据样本以获得反事实数据样本，并输出所述反事实数据样本。

技术领域

本公开涉及用于为神经网络生成反事实数据样本的方法和设备。

背景技术

使用神经网络的深度学习模型正被越来越广泛地使用，然而，在它们被部署到现场之前，尤其是当它们被应用于诸如自动驾驶或医学诊断之类的高风险任务时，理解这些模型如何得出它们的结果（预测）是至关重要的。

要理解一个模型，重要的是能够定量地建立它已经将期望的输入-输出关系学习到什么程度。然而，深度学习模型和技术典型地缺乏量度和实践来测量该效果，并且经常产生与可用数据量相比被过度参数化的模型。对于用于分类任务的模型来说尤其如此，其中大量的模型参数允许对象类别之间的决策边界变得越来越复杂和非线性。这通常导致模型实际学习到的东西和模型实现者认为它已经学习到的东西之间的巨大差距。

在Alex Kendall 和Yarin Gal的论文“What Uncertainties Do We Need inBayesian Deep Learning for Computer Vision”中描述的方法给出了对于神经网络的预测正确性的估计，并且因此有助于评估模型/神经网络真正学到了什么。

Ruth C. Fong和Andrea Vedaldi的论文“Interpretable Explanations ofBlack Boxes by Meaningful Perturbation”描述了一种增加深度学习模型的可解释性的方法。这样的和类似的方法主要集中于图像分类的任务，并且产生显著图，该图示出图像的哪些部分/像素对神经网络的分类负有最大责任。

然而，在寻找有意义的解释时，一个重要的问题典型地是对抗效应的存在，对抗效应由如下内容构成：对输入数据样本所做出的小的改变导致分类得分的大的改变。这些小的改变，例如输入图像的仅仅几个像素，可能与表示语义对象的部分不相关，并且因此可能对解释分类得分没有帮助。

鉴于以上所述，合期望的是获得对于深度学习模型的结果（预测）的有意义的解释，特别是描述给定输入样本附近的模型决策边界的解释。

更进一步地，合期望的是对模型结果（预测）可靠性的置信度的指示。

发明内容

独立权利要求的方法和设备允许生成反事实数据样本，从而为神经网络的预测提供有意义的解释。这允许基于反事实数据样本和对应的输入传感器数据样本之间的差异来提供对神经网络的预测的可靠性的测量。对于反事实生成设备，对从神经网络获得的类别预测的可靠性的解释和测量可以进一步用于设备的控制，诸如用于自动驾驶的车辆控制。

以下描述了进一步的示例：

一种用于基于输入传感器数据样本来为神经网络生成反事实数据样本的方法可以包括：使用神经网络确定对于输入传感器数据样本的类别预测；除了类别预测之外，还确定对类别预测的不确定性的估计；生成神经网络针对其确定与针对输入传感器数据样本不同的类别预测的候选反事实数据样本；确定损失函数，其中损失函数包括由神经网络对候选反事实数据样本的类别预测的不确定性的估计；基于所确定的损失函数修改候选反事实数据样本以获得反事实数据样本；并输出反事实数据样本。

本段中提到的方法提供了第一示例。