[发明专利]基于在线注意力累积的挖掘目标物体区域的方法

说明书

本发明公开了一种基于在线注意力累积的挖掘目标物体区域的方法。该方法的目的是以弱监督的方式高效地找到图像的目标物体区域，这种区域可以为弱监督语义分割任务提供监督。基于训练过程中注意力不停地在目标物体上变化的观察，该方法在训练过程中为每一个目标物体维护了一张存储图。通过不断的将每一次迭代中生成的注意力图融合到存储图中，这个在线注意力累积过程可以将注意力在目标物体上出现过的所有位置记录下来，帮助找到整个目标物体区域。另外，该方法在更新存储图的过程中，通过改进的交叉熵损失函数对存储图中学习到的知识进行监督，从而得到更加完整的物体区域。

技术领域

本发明属于图像处理技术领域，特别涉及到一种基于在线注意力累积的挖掘目标物体区域的方法。

背景技术

受益于大规模的像素级训练数据和先进的卷积神经网络(CNN)体系结构，完全监督的语义分割方法近年来取得了很大的进展。然而，构建一个大规模的像素精确数据集是非常昂贵的，需要大量的人力和时间成本。为了节省人力，研究人员倾向于使用弱监督来学习语义分割，例如边界框、点和图像级别的标注都属于弱监督信息。由于分类模型能够得到特定类别的注意力区域，因此其被广泛应用于弱监督语义分割任务中。视觉注意力的初始目的是揭示分类网络的内在机制，在许多研究领域取得了显著的成就。迄今为止，为了得到高质量的注意力图，已经提出了一些突出的工作。Karen Simonyan等人于2014年在“DeepInside Convolutional Networks:Visualising Image Classification Models andSaliency Maps”中提出使用误差回传的方式来显示类别相关的区域。Bolei Zhou于2016年在“Learning Deep Features for Discriminative Localization”中提出借助了全局池化层来可视化神经网络的类别激活图(CAM)。Jianming Zhang等人于2016年在“Top-downNeural Attentionby Excitation Backprop”提出了一种称为激励反向传播的自顶向下的方法，该方法通过一个概率优胜者的方法将信号自顶向下的在网络中传播，以生成特定类别的注意力图。基于Bolei Zhou提出的类别激活图，Ramprasaath R.Selvaraju等人提出了Grad-CAM，它通过将梯度流到最终卷积层以生成粗糙的注意力图，从而为任何目标概念(如图像分类、VQA和图像解释)生成视觉解释的技术。

近年来，与上述解释网络的方法不同的是，一些工作通过生成能够定位更加完整的目标物体区域的注意力图来提供更多的像素级语义信息用于监督语义分割任务，从而实现弱监督语义分割。由于很多方法的提出，基于图像级别标注的弱监督语义分割取得了很大的进展。这种弱监督语义分割的主流方法是将注意力图作为初始种子来训练语义分割网。例如Alexander在“Seed,Expand and Constrain:Three Principles for Weakly-Supervised Image Segmentation”中引入了三种损失函数分别是种子、扩张和边界约束损失函数来扩展初始种子区域并同时训练分割模型。然而这类方法的性能受到限制，因为目标物体的注意力区域很小，不能覆盖整个物体。近年来，研究人员提出了一系列基于分类网络的方法来扩大目标物体上的注意力区域。Yunchao Wei等人在“Object Region MiningwithAdversarial Erasing:A Simple Classification to Semantic SegmentationApproach”中提出了使用对抗擦除策略去挖掘更多的目标物体区域，然而，这种学习方式需要多个训练步骤来训练多个分类模型。Kunpeng Li等人在“Tell Me Where to Look:GuidedAttention Inference Network”中进一步改进了这种对抗擦除策略，他们通过自我指导的方式使注意力关注在整个目标物体上。Yunchao Wei受到空洞卷积的启发，在“Revisiting Dilated Convolution:A SimpleApproach for Weakly-and Semi-Supervised Semantic Segmentation”提出使用多个空洞卷积层来扩大注意力的感受范围。