[发明专利]用于由神经网络确定可解释性掩膜的方法、系统和介质

权利要求书

1.一种确定用于由经训练的神经网络对输入图像进行分类的可解释性掩模的计算机实现方法，经训练的神经网络被配置成通过在经训练的神经网络的内部层处确定输入图像的潜在表示、并通过根据输入图像的潜在表示来确定输入图像的分类来确定输入图像的分类，确定分类包括确定输入图像的分类得分，所述方法包括：

- 访问经训练的神经网络；

- 获得输入图像以及输入图像的潜在表示；

- 初始化用于指示对潜在表示的修改的掩膜：

- 通过迭代地调整掩模的值以优化目标函数来更新掩模，所述目标函数包括：i）修改分量，其指示掩模所指示的修改的程度；以及ii）分类得分分量，所述分类得分分量通过如下方式来确定：

○ 将掩膜所指示的修改应用于潜在表示以获得受扰动的潜在表示；

○ 根据经训练的神经网络来确定受扰动的潜在表示的分类得分；

- 将掩膜缩放到输入图像的空间分辨率，以获得可解释性掩膜；以及

- 输出可解释性掩膜。

2.根据权利要求1所述的方法，其中，更新掩膜包括：如果受扰动的潜在表示的分类得分越过分类阈值，则结束更新操作。

3.根据权利要求1或权利要求2所述的方法，其中，更新掩膜包括：迭代地调整掩膜的值多达预定数量的迭代。

4.根据任何前述权利要求所述的方法，进一步包括：

- 在更新掩膜之后，确定受扰动的潜在表示的分类得分是否满足分类阈值；以及

- 如果确定分类得分没有满足分类阈值：

○ 则将掩膜扩展成在经训练的神经网络的先前层处附加地覆盖输入图像的附加潜在表示，以及

○ 重复更新步骤。

5.根据任何前述权利要求所述的方法，其中，初始化掩膜包括：分配掩膜值，所述掩膜值利用零激活潜在表示代替潜在表示。

6.根据权利要求1至4中任一项所述的方法，其中，初始化掩膜包括：分配对潜在表示不具有扰动性影响的掩膜值。

7.根据权利要求1至4中任一项所述的方法，进一步包括：

- 获得包括多个第一输入图像的数据集；

- 获得所述多个第一输入图像的相应的多个潜在表示；

- 将数据集的第一输入图像聚类成多个簇；

- 针对多个簇中的簇，跨所述簇中的第一输入图像的潜在表示来确定聚合掩膜；

- 从多个簇中确定输入图像所属的簇；以及

- 将掩膜初始化为与所确定的簇相对应的聚合掩膜。

8.根据权利要求7所述的方法，其中，通过跨所述簇中的第一输入图像的潜在表示计算平均掩模来确定聚合掩模。

9.根据任何前述权利要求所述的方法，进一步包括：

- 获得包括多个第一输入图像的数据集；

- 获得所述多个第一输入图像的相应的多个潜在表示；

- 将数据集的第一输入图像聚类成多个簇；

- 基于所述簇中的第一输入图像、针对每个簇来计算经训练的神经网络的如下各项的组中的至少一个的集合：被最频繁地掩盖的神经元、被最频繁地掩盖的过滤器、以及被最频繁地掩盖的层；以及

- 确定多个簇中的、输入图像所属的簇；

其中，更新掩模包括：确定掩模以指示对潜在表示的子区的修改，并且通过与输入图像所属的簇相对应的集合来确定子区。

10.根据任何前述权利要求所述的方法，其中，内部层是经训练的神经网络的卷积层，诸如紧接在第一密集层之前的卷积层。

11.根据任何前述权利要求所述的方法，其中，输入图像包括如下各项的组中的至少一个的基于图像的表示：图像数据、音频数据、视频数据、文本数据、雷达数据、LiDAR数据和时间序列数据。

12.根据任何前述权利要求所述的方法，其中，获得输入图像包括从传感器获得输入图像。