[发明专利]用于确定解释图的方法和设备

权利要求书

1.一种用于确定图像（x）的解释图（）的方法，在所述解释图中所述图像（x）的所有对于用深度神经网络（f）确定的所述图像（x）的分类起决定性作用的像素都被改变，其中将所述解释图（）选择为，使得所述图像（x）的尽可能小的像素子集被改变，然后如果将所述解释图（）输送到所述深度神经网络（f）以用于分类，则所述解释图（）尽可能不导致与所述图像（x）相同的分类结果（），其中将所述解释图（）选择为，使得在所述深度神经网络（f）的特征图（h_l）中通过所述解释图（）引起的激活（）然后基本上不超过通过所述图像（x）引起的激活（）。

2.根据权利要求1所述的方法，其中，将所述解释图（）选择为，使得成本函数（L）得以优化，其中所述成本函数（L）具有第一分量（L_h）和/或第二分量（L_w），所述第一分量表征所述解释图（）与所述图像（x）有多类似，所述第二分量表征针对所述解释图（）得到的分类结果（）与针对所述图像（x）得到的分类结果（）相对应的概率（p）有多大。

3.根据权利要求2所述的方法，其中，所述第二分量（L_w）逐区域地、特别是逐像素地通过表征各自像素对针对所述解释图（）得到的分类结果有多大贡献的函数来完成。

4.根据权利要求2至3中任一项所述的方法，其中，通过所述成本函数（L）中的第三分量（L_c）来实现辅助条件，即对于深度神经网络中的至少一层l通过所述解释图（s_x）的激活（）基本上不超过通过所述图像（x）的激活（），所述第三分量惩罚这样的超过。

5.根据权利要求1至3中任一项所述的方法，其中，通过所述解释图（）的激活（）不超过通过所述图像（x）的激活（）的辅助条件通过以下方式得以实现：在确定所述解释图（）时将所述特征图（h_l）中的激活（）设置为可预给定值，特别是设置为根据所述辅助条件的最大允许值（）。

6.根据权利要求1至3中任一项所述的方法，其中，通过所述解释图（）的激活（）不超过通过所述图像（x）的激活（）的辅助条件通过以下方式得以实现：使用基于梯度的优化方法，并且如果在所述深度神经网络的层l中通过所述解释图（）的激活超过通过所述图像（x）的激活（），则将该层的特征图（）反向传播（英语：back propagation）的梯度（）设置为等于可预给定的梯度，特别是等于零。

7.一种用于显示图像的方法，其中，使用根据权利要求1至6中任一项所述的方法确定并显示解释图（）。

8.根据权利要求7所述的方法，其中，也显示所述图像（x），特别是显示在所述解释图（）旁边。

9.一种计算机程序，其被设置为执行根据权利要求1至8中任一项所述的方法。

10.一种或多种器可读存储介质（45），其上存储有根据权利要求9所述的计算机程序。

11.一种机器分类系统（40），其被设置为执行根据权利要求1至6中任一项所述的方法。

12.一种显示系统（13），其被设置为执行根据权利要求7或8中任一项所述的方法。