[发明专利]用于由神经网络确定可解释性掩膜的方法、系统和介质

说明书

本发明涉及一种确定用于由经训练的神经网络对输入图像进行分类的可解释性掩膜的计算机实现方法。经训练的神经网络被配置成通过在经训练的神经网络的内部层处确定输入图像的潜在表示来确定输入图像的分类和分类得分。该方法包括：访问经训练的神经网络；获得输入图像及其潜在表示；以及初始化用于指示对潜在表示的修改的掩膜。通过迭代地调整掩膜的值以优化目标函数来更新掩膜，该目标函数包括：i）修改分量，其指示掩模所指示的修改的程度；以及ii）分类得分分量，其通过将所指示的修改应用于潜在表示并且确定其分类得分来确定。将掩膜缩放到输入图像和输出的空间分辨率。

技术领域

本发明涉及一种用于由经训练的神经网络确定用于由经训练的神经网络对输入图像进行分类的掩模的计算机实现方法、以及对应的系统。本发明进一步涉及一种计算机可读介质，该计算机可读介质包括用来实行上述方法之一的指令。

背景技术

经机器学习的（“经训练的”）模型被广泛地用在许多现实生活应用领域中，诸如自主驾驶、机器人科学、制造、建筑物控制等。例如，可以训练机器可学习模型（诸如，神经网络）以基于由一个或多个传感器获取的传感器数据来推断出物理系统（诸如，自主车辆或机器人等）或系统环境（例如，车辆在其上行进的道路、机器人的工作空间等）的状态。在已经推断出状态的情况下，可以例如使用一个或多个致动器来控制物理系统，或者可以监视其操作。

通常，如机器学习中已知的那样，可以在训练数据上训练机器可学习模型（诸如，神经网络），以便提供诸如预测或决策之类的输出。决策的示例是分类。通过训练神经网络，神经网络可以提供这样的预测或决策，而无需为了这样做而被明确地编程。例如，为了对图像进行分类，可以在包括图像（其分类是已知的）的训练数据集上训练神经网络。因此，可以将经训练的神经网络训练成确定输入图像的分类。例如，神经网络可以被训练为多类标识符，通过该多类标识符，图像可以被分类为例如“猫”、“狗”或“树”。另一个示例是，可以将经训练的神经网络训练成二进制分类器（例如，将输入图像分类成仅两个互补类别之一，“合格（OK）”或“不合格（NOK）”）。然而，经训练的神经网络也可以在其类别是未知的图像（例如，通过聚类/自动分类获得的图像）的数据集上进行训练。

一般而言，神经网络可以包括深度神经网络和/或卷积神经网络（CNN）。

由经机器学习的模型（诸如经训练的神经网络）进行的分类可以被用于无数应用中，诸如制造过程中的光学质量检查或自主车辆中的危险检测。将理解的是，在这些和其他应用领域中，了解和理解经机器学习的模型如何得出其结论是相关的。

因此，可解释性（explainability）是模型核实（我们是否正确地建立了模型）和验证（我们是否建立了正确的模型）两者的核心要素。众所周知的是，大型的现有技术网络模型可能很容易被欺骗成提供错误的、高置信度的预测；并且因此，它们的真实泛化性能经常受到质疑。与意图在现场部署的任何其他软件组件一样，至关重要的是，可以对模型进行定量核实和验证，例如，以建立模型已经学习到期望输入-输出关系的程度。机器和深度学习方面的当前现有技术缺乏用以测量该效果的量度和实践，从而通常以有限的数据集（因此以固有偏差的数据集）进行工作，并且产生了与可用数据的量相比被过度参数化的模型。因此，模型实际已经学习到的内容与实施者认为该模型已经学习到的内容之间通常存在很大的差距。

在过去的几年中，已经意识到需要提供解释以及模型预测，并且已经提出了若干种方法，并且以具有不同程度的成功（success）的学术水平来使用这些方法。例如，在图像分类网络的情境中，大多数解释方法是黑盒（即，与模型无关）和白盒方法的混合，这些方法计算输入图像像素上的属性。即，这些方法研究分类器在给定输入上的局部行为。这些归因图通常也被叫做解释图、显著性图或注意力图，并且常常被表示为覆盖在输入图像上的热图，其中突出显示了使该模型将输入分类为一个类或另一类的输入图像区域。