[发明专利]一种基于像素梯度加权的卷积神经网络特征可视化方法及系统

权利要求书

1.一种基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，构建融合特征图和梯度图的CNN可视化方法，通过该方法对输入图像进行可视化，可视化方法构建，包括如下步骤：

S1，输入类别激活可视化计算过程中的需求参量，包括CNN模型、待可视化图像、类别索引和网络层级；

S2，利用数据集对CNN模型进行训练，优化参数，得到训练好的CNN模型；

S3，利用训练好的CNN模型对输入图像进行前向传播计算；

S4，利用网络层级，获取目标层级前向传播计算输出的特征图；

S5，基于类别索引生成对应的单位向量并进行反向传播；

S6，利用网络层级，获取目标层级反向传播得到的梯度图；

S7，对上述步骤S4得到的特征图和上述步骤S6得到的梯度图进行像素级加权融合，具体步骤为：

S7.1，首先，记S4步骤得到的特征图为A∈R^C×H×W，其中表示特征图第k个通道、第i行、第j列像素位置的值，同理记S6步骤得到的梯度图为G^c，其中E_c为单位向量，然后对特征图每个像素位置进行权值计算，权值矩阵W的(i,j)像素位置的权重为：

S7.2，经过加权融合，可得到对类别c的类激活可视化图L^c＝∑_kW^kc·A^k；

其中，类激活图L^c∈R^H×W，每个像素位置的激活值为：

S8，经过后处理得到类别激活可视化输出结果。

2.根据权利要求1所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，在利用特征图和梯度图参与计算前，对其进行线性整流的预处理。

3.根据权利要求2所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，预处理使用的线性激活函数为ReLU函数。

4.根据权利要求1所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，步骤S5中，基于类别索引生成对应的单位向量并进行反向传播的具体方法为：

S5.1，首先初始化得到零向量[0,0,…,0]∈R^N，根据类别索引c，将零向量的第c维分量置1，得到该类别所对应的单位向量E_c；

S5.2，将E_c作为网络输出logits的导数初始值，根据链式法则，从该导数初始值开始逐层反向求特征图的偏导；

其中，N表示分类网络学习的类别总数，E_c∈R^N与网络输出logits的维度一致。

5.根据权利要求3或4所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，步骤S8中，所述后处理过程包括如下步骤：

S8.1，齐次化，对类激活可视化图L^c做空域范围内的齐次化，每个像素位置的值线性归一到[0,1]区间；

S8.2，上采样，将可视化图上采样到输入图像同等维度，提升可视化分辨率，其每个位置的值可以表示网络对输入原图做判别时所对应位置的显著性；

S8.3，伪彩转化，将灰度色彩空间的可视化图转化到彩色空间，输出伪彩图像。

6.根据权利要求5所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，上采样方式选择双线性插值上采样。

7.根据权利要求5所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，伪彩转化选择jet映射方案。

8.根据权利要求1所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，CNN模型为VGG、Resnet、Inception、SqueezeNet及组合结构中任意一种。