[发明专利]一种面向卷积神经网络分类结果的可视化算法

说明书

本发明公开了一种面向卷积神经网络分类结果的可视化算法，属于计算机视觉与数字图像处理技术领域。本发明在全连接层使用相关性传播算法，得到最后一层卷积层中每个神经元对最终输出结果的贡献的大小，根据其贡献计算出该卷积神经网络的类激活映射图。在得到类激活映射图之后，也就获得了最后一层卷积层中对分类结果有贡献的神经元的位置，根据提出的基于位置信息的传播算法，将卷积层中支持分类的神经元位置逐层向前重定向，直到输入层，从而得到输入图像中对输出结果有贡献的像素位置集合，最终得到可以解释卷积神经网络分类依据的可视化图像，本发明在解释卷积神经网络的分类方面具有更高的准确性，且在解释分类决策时能区分类别之间的特征。

技术领域

本发明属于计算机视觉与数字图像处理技术领域，具体涉及一种面向卷积神经网络分类结果的可视化算法。

背景技术

目前，卷积神经网络作为最为常用的深度学习模型已经被广泛应用到很多领域，例如图像分类，语音识别以及自然语言处理等，并且都取得了很好的效果，在某些领域已经达到甚至超越了人类的表现。随着其应用越来越广泛，对网络模型的理解变得越来越重要，尤其涉及到汽车自动驾驶以及医学诊断等领域时，对神经网络决策的理解和验证是非常重要的一环，人们不希望由一个不了解的“黑盒”模型来帮自己做所有决定，因而对卷积神经网络分类结果进行解释的研究具有非常重要的意义。

解释卷积神经网络分类结果可视化算法主要有类激活映射图算法和灵敏度分析算法。前者只能用于不含有全连接层的全卷积神经网络中，其优点在于可以准确解释卷积神经网络的分类依据；而后者使用性更广，可以用在绝大多数的卷积神经网络中，但是在解释分类依据时，对于含有多于一类目标的输入的情况并不能很好的适用，准确性还有待提高。

针对上述类激活映射图算法无法应用到一般结构卷积神经网络及灵敏度分析算法解释分类结果的准确性不足这两个问题，在全连接层和卷积层分别使用不同的传播算法，提出了基于相关性的类激活映射图可视化算法。该方法首先在全连接层使用相关性传播算法，得到最后一层卷积层中每个神经元对最终输出结果的贡献的大小，然后根据其贡献计算出该卷积神经网络的类激活映射图。在得到类激活映射图之后，也就获得了最后一层卷积层中对分类结果有贡献的神经元的位置，根据提出的基于位置信息的传播算法，将卷积层中支持分类的神经元位置逐层向前重定向，直到输入层，从而得到输入图像中对输出结果有贡献的像素位置集合，最终得到可以解释卷积神经网络分类依据的可视化图像。

发明内容

本发明的目的在于提供一种解决现有技术在解释卷积神经网络分类的效果不理想的面向卷积神经网络分类结果的可视化算法。

本发明的目的是这样实现的：

本发明公开了一种面向卷积神经网络分类结果的可视化算法，具体通过以下步骤实现：

(1)提取输入图像的数据集，将数据集作为训练集对卷积神经网络进行训练，得到训练好的模型参数；

(2)根据Rel-CAM算法在全连接层中的计算方法，利用输出结果和模型参数逐层计算全连接层中各神经单元对输出的贡献大小，直至卷积层；

(3)依据步骤(2)中得到的最后一层卷积层中所有神经单元对输出的贡献，计算该层每个通道与输出结果的相应权重，从而得到该网络模型的类激活映射图；

(4)记录类激活映射图中值为正的神经单元，该神经单元的位置作为该层中对输出结果有贡献的像素的位置，将这些神经单元加入到该层对输出有贡献的神经元集合中；

(5)依次取出集合中的每个神经元，计算其前一层中感受野中所有神经元与相应权重的哈达玛积，并对每一通道的哈达玛积求和，取其中和最大的通道作为贡献通道，并取其中值为正的神经元加入到该层对输出有贡献的神经元集合中，并去除其中重复的神经元；

(6)重复步骤(5)的传播过程，直至获得输入层中的神经元集合，该集合中的神经单元表明了该位置下的像素对输出结果有贡献。