[发明专利]用于确定解释图的方法和设备

说明书

一种用于确定图像（x）的解释图（）的方法，在所述解释图中所述图像（x）的所有对于用深度神经网络（f）确定的所述图像（x）的分类起决定性作用的像素都被改变，其中将所述解释图（）选择为，使得所述图像（x）的尽可能小的像素子集被改变，然后如果将所述解释图（）输送到所述深度神经网络（f）以用于分类，则所述解释图（）尽可能不导致与所述图像（x）相同的分类结果（），其中将所述解释图（）选择为，使得在所述深度神经网络（f）的特征图（h_l）中通过所述解释图（）引起的激活（）然后基本上不超过通过所述图像（x）引起的激活（）。

技术领域

本发明涉及用于确定解释图的方法、计算机程序、一种或多种机器可读存储介质以及一种或多种计算机、机器分类系统以及显示系统。

背景技术

未预先公开的DE 10 2018 205 561公开了一种用于对视网膜进行分类的设备，该设备包括具有至少一个卷积层的人工神经网络，

其中所述卷积层包含多个可训练的卷积核，并且为每个卷积核提供激活图，该激活图向所述至少一个卷积层的输入中的离散位置分别分配输出值，该输出值是所述输入与各自卷积核本地一致性的度量，

其中在所述至少一个卷积层之后连接至少一个分类器层，所述分类器层将其输入借助于可训练的权重映射为该输入属于多个预给定类别之一（特别是组织是健康的还是发生了病理改变）的概率集，

其中设置评估单元，该评估单元被构造为通过由至少一个卷积层获得的激活图与存储在聚合层中的权重的加权求和来确定所述至少一个卷积层的输出的相关性图，其中所述相关性图展示出所述组织的对于所述评估是决定性的部位。

本发明的优点

相比较而言，具有独立权利要求1的特征的方法所具有的优点是，使得可以改进地确定解释图，所述解释图特别是使得能够进行像素精确的表示。由此所述解释图中包含的信息才可供人类感知。

有利的扩展是从属权利要求的主题。

发明内容

特别是在用于辅助医疗诊断的系统中—在所述系统中借助于深度神经网络基于图像的某些特征来识别可能的诊断，重要的是向主治医生清楚地显示所述图像的哪些部分导致了所述诊断。

因此在第一方面，本发明涉及一种用于确定图像的解释图、即对于分类结果起决定性作用的图像区域的方法，借助于深度神经网络对所述图像进行分类（即，将所述图像分配给来自可预给定的多个类别中的一个类别），在所述解释图中所述图像的像素根据它们对所述图像的分类起多大作用而改变，其中将所述解释图选择为，使得所述图像的尽可能小的像素子集被改变，这是通过以下方式进行的，即当所述解释图被输送到所述深度神经网络以用于分类时，所述解释图尽可能不导致与所述图像相同的分类结果，其中将所述解释图选择为，使得在所述深度神经网络的特征图（英语：feature map）中，通过所述解释图引起的激活然后（即，在相应地输送到所述深度神经网络时）基本上不超过通过所述图像引起的激活。

所述解释图尽可能不导致与所述图像相同的分类结果可能例如意味着：向可能的分类结果分别分配一个概率，并且将相同分类结果的概率最小化。

像素的改变可以例如以以下方式进行：改变所述图像的所有那些对于所述图像的分类起决定性作用的像素。这些像素例如可以被突出显示或删除。

这意味着规定，不仅将所述图像而且同样将所述解释图输送给所述深度神经网络，其中作为所述深度神经网络的输出变量分别获得的分类应当尽可能不同。

在此，深度神经网络通常是包括多个层的神经网络。

由于所述解释图是以输入图像的大小而不是以（特别是最后一个）卷积层的激活图的大小或输出变量的大小创建的，因此会得到特别精确的表示，因为所述解释图在所描述的替代方案中必须放大到所述输入图像的大小。保留相关的边缘信息和颜色信息。