[发明专利]一种基于区分性反卷积的CNN可视化方法

权利要求书

1.一种基于区分性反卷积的CNN可视化方法，其特征在于，所述方法包括：

步骤1：给定输入图像进行特征提取，得到最高层特征图和分类结果；

步骤2：基于最高层特征图与分类结果，使用Grad-CAM方法，生成类别激活图；

步骤3：将所述类别激活图作为初始特征图，逐层反卷积到输入空间，生成具有类别区分性的热力图；

步骤4：将所述类别激活图逐层融合中间层特征图，并使用反卷积恢复到输入空间，生成具有细粒度特征的热力图；

步骤5：将所述具有类别区分性的热力图与所述具有细粒度特征的热力图相融合，生成最终的热力图。

2.根据权利要求1所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤1包括最高层特征图的获取阶段：

输入图像，对所述图像在含有L个卷积层的CNN中进行正向特征提取，如公式(1)表示：

(A¹,A²,...,A^L)＝f_conv(x；θ) (1)；

其中，x为输入图像，L表示最后一个卷积层，A^l表示第l个卷积层的输出多通道特征图，1≤l≤L，θ表示卷积神经网络的参数集合，函数f_conv()表示正向卷积过程，A^L表示最高层特征图。

3.根据权利要求2所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤1还包括分类阶段：

通过公式(1)得到最高层特征图，并将所述最高层特征图送至softmax层进行分类，并获得分类结果。

4.根据权利要求1所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤2采用像素级梯度作为最高层特征图各像素的权重。

5.根据权利要求4所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤2包括：

基于分类结果，使用梯度反向传播，计算最高层特征图对应的梯度图，并得到最高层特征图各通道对应的权重，如公式(2)表示：

其中，s^c表示将输入图片x分类第c类的分数，k表示最高层特征图的第k个通道，表示第k个通道(i,j)位置处的像素，表示第k个通道(i,j)位置处对应的权重。

6.根据权利要求5所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤2还包括：

使用Grad-CAM方法，将各通道特征图和各通道像素权重进行加权，逐个通道位置求和，生成对应的类别激活图，如公式(3)表示：

其中，表示由组成的梯度图的第k个通道。

7.根据权利要求1所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤3具体包括：

将类别激活图作为反卷积最初始的特征图，基于所述类别激活图的单通道反卷积过程，如公式(4)表示：

其中，函数f_deconv()表示单通道反卷积过程，表示反卷积得到的第l-1层结果，表示反卷积开始阶段使用的类别激活图。

8.根据权利要求1所述的一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤4具体包括：

将每个卷积层特征图中的相关信息逐层融合到反卷积过程中，如公式(5)表示：

其中，“⊙”表示哈达玛积，average()函数表示对特征图A^l按通道求平均，得到一维的特征图，此时1≤l≤L-1。

9.根据权利要求1-8所述的任意一项一种基于区分性反卷积的CNN可视化方法，其特征在于，所述步骤5具体包括：

在融合最高层特征图的同时，将两条反卷积路径中的热力图整合在一起，形成最终的热力图，如公式(6)表示：

H^c＝D^c⊙F^c (6)；

其中，H^c表示最终的热力图。