[发明专利]一种融合超列的类激活映射图生成方法

说明书

本发明涉及一种融合超列的类激活映射图生成方法，第一步：根据过滤器通道将网络卷积层分为低、中、高区域，并提取每个区域最后一个卷积块作为低、中、高区域三个不同层次的信息；第二步：对d1、d2两个层次的输出特征进行上采样，使其成为低层次的特征维度，然后进行深度拼接，得到特征图，并进行标准化，使其包含的元素范围在[0,1]之间；第三步：将第二步中得到的特征图进行分组批处理，每组特征图采用置信度算法得到每组特征图的置信度；第四步：将所有组的置信度结果进行拼接，得到一个多维向量，对该向量进行软最大(softmax())处理，将结果作为每个特征图的贡献度；第五步：将贡献度与对应的特征图相乘，并将相乘后的特征图相加，获得最终的类激活图。

技术领域

本发明属于人工智能领域。

背景技术

深度学习如火如荼，神经网络的可解释性一直是讨论的热点，而可解释性常和模型的可视化联系在一起，可视化帮助我们理解哪些特征可以引导模型对图像进行分类。目前人们已经掌握了许多不同的可视化技术，如可视化卷积神经网络的中间输出(中间激活)，可视化卷积神经网络的过滤器以及可视化图像中的类激活热力图等。类激活映射图(Class Activation Mapping，CAM)的基本原理是针对最后一个卷积层的特征图，利用反向传播找出每个通道对应的权重，权重越大说明对应的特征图越重要。然后将对应的权重和特征图相乘就得到最终的类激活图。CAM方法虽然可以定位，给出网络判定为某一类的依据，并且理论推导很充分，但是也存在很大的缺点：它需要对网络进行二次训练才能得到每张特征图对应的权重。Grad-CAM算法将CAM的判别性与基于梯度的像素空间的可视化技术结合起来，得到了高分辨率的类别预测解释图，这种技术不局限于全卷积网络，可以用于普通的CNN结构。在此基础上的 Grad-CAM++算法是为了优化Grad-CAM的结果，定位更精确，也更适用于图像中含有不止一个目标类别物体的情况。但是由于Grad-CAM和Grad-CAM++ 这类算法是利用梯度来获取特征权重，而对于深度神经网络来说，梯度容易产生噪声和饱和问题，从而影响效果。Score-CAM算法首次摆脱了对梯度的依赖，利用模型对于特征图的全局置信分数来衡量线性权重。Ablation-CAM算法和 SS-CAM]算法也摆脱了对梯度的依赖，并且可视化的结果更为聚焦，背景中的噪声也大大减少。但是Score-CAM、Ablation-CAM和SS-CAM这三种算法生成的CAM主要依赖于神经网络最后一层卷积得到的特征，但是对于网络中、低层的特征并未过多关注，从而容易导致生成的特征图包含的重要信息不全以及边缘信息丢失等问题。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供一种融合超列的类激活映射图生成方法。

本发明解决技术的方案是：一种融合超列的类激活映射图生成方法，包括如下步骤：

第一步：根据过滤器通道将网络卷积层分为三个区域，三个区域依顺序标记为低、中、高区域，并提取每个区域最后一个卷积块作为低、中、高区域三个不同层次的信息，标记低层次的特征维度为d0(a0*a0*b0)，中层次的特征维度为d1(a1*a1*b1)，高层次的特征维度为d2(a2*a2*b2)；

第二步：对d1、d2两个层次的输出特征进行上采样，使其成为a0*a0的特征维度，然后对统一维度后的三层输出特征进行深度拼接，得到特征图，并进行标准化，使其包含的元素范围在[0,1]之间；

第三步：将第二步中得到的特征图进行分组批处理，每组特征图均采用置信度算法得到该组特征图的置信度；

第四步：将所有组的置信度结果进行拼接，得到一个多维向量，对该多维向量进行软最大处理，将结果作为每个特征图的贡献度；

第五步：将第四步获得的贡献度与对应的特征图相乘，并将相乘后的特征图相加，获得最终的类激活图。

优选的，a0≠a1≠a2。