[发明专利]一种基于协同注意力的草图图像检索方法

说明书

本发明公开了一种基于协同注意力的草图图像检索方法，包括：构建由自然图像分支、边缘图分支和草图分支构成的三分支网络，并进行预训练；构建三分支网络的注意力模块，自然图像分支和边缘图分支的注意力模块权重异构，边缘图分支和草图分支的注意力模块共享权重；学习两个不同数据域上的公共注意力掩膜捕获两个域之间的公共通道级依赖关系，聚焦学习来自两个不同域的公共信息特征，缩小查询数据域和检索数据域的差距；通过跨域公共注意力掩膜分别对自然图像和边缘图分支最后一个池化层输出特征图进行通道相应加权，输出对特征通道重要程度进行重校准后的自然图像特征图和边缘特征图；对三分支网络进行联合训练，获得草图和自然图像的跨域表示。

技术领域

本发明涉及图像检索、计算机视觉技术领域，尤其涉及一种基于协同注意力的草图图像检索方法。

背景技术

随着互联网媒体图像数据的急剧增加，基于内容的图像检索技术已成为计算机视觉领域的热门话题。早期的基于文本的检索方式依赖人工标注、且具有歧义性，无法适用于大规模图像检索。近年来，随着触摸屏设备的普及，基于草图的图像检索(Sketch-basedImage Retrieval,SBIR)引起了广泛的关注，并取得了显著的性能。

近年来，卷积神经网络已广泛应用于诸如人脸识别，物体检测和图像检索等许多领域。与传统手工制作特征的方法相比，卷积神经网络可以自动聚合从底部卷积层学到的浅层特征。因此，目前基于草图的图像检索方法大多与深度学习方法相结合，许多基于卷积神经网络的SBIR框架被提出。Qi等人引入了一种新颖的孪生卷积神经网络，通过联合训练两个卷积神经网络来分别学习草图和边缘图的特征。同时，Triplet网络架构被广泛应用，Triplet网络包括草图分支，正自然图像分支和负自然图像分支，通过加入三元组排序损失保留输入三元组的相对相似性，即约束草图和自然图像正样本特征之间的距离小于草图和自然图像负样本特征之间的距离。Sangkloy等人通过预训练策略学习跨域映射，将自然图像和草图嵌入到同一高层语义空间中去，取得了卓越的检索性能。最近，深度哈希方法也被应用到基于草图的图像检索任务中去。Liu等人提出深度草图哈希方法(Deep SketchHashing，DSH)，将卷积神经网络集成到哈希框架中以捕获跨域相似性并加速检索过程。Zhang等人提出了一种生成域迁移哈希(Generative Domain-migration Hashing，GDH)方法，该方法使用生成模型将草图域迁移到自然图像域，并在两个基于草图的图像检索数据集上取得优越性能。

注意力模型最近已成功应用于各种深度学习任务，例如：自然语言处理(NaturalLanguage Processing，NLP)、细粒度图像识别、视觉问题回答(Visual QuestionAnswering， VQA)等。在图像处理领域，广泛使用的注意力模型包括软注意模型(Soft-attention model) 和硬注意模型(Hard-attention model)。软注意模型通过学习得到注意力掩模，为图像的不同空间区域或不同通道分配不同权重。硬注意模型通过使用强化学习，为图像搜索潜在的判别区域。Hu等人提出了一种通道级注意力模型来重新校正不同通道的权重，有效地增强了特征的判别能力，获得了优越的分类性能。Li等人提出了一种同时结合了软注意力和硬注意力的模型用于行人重识别任务，其中软注意力通过学习图像中的重要像素以获得精细级信息匹配，硬注意力模型搜索潜在的判别区域。Song等人提出了一种空间软注意力模型用于细粒度级草图图像检索，以捕获更具辨别力的细粒度特征，通过学习得到Triplet网络的每个分支的注意力掩模，重新加权特征图的不同空间区域。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

首先，与充满色彩和纹理信息的目标自然图像相比，草图是具有高度标志性和抽象性的曲线的组合。因此，草图和自然图像属于两个异构数据域。如何将这两个异构数据域在高层语义空间中进行对齐仍然是SBIR中最具挑战性的问题。