[发明专利]基于深度级联跨模态相关性的细粒度草图图像检索方法

说明书

本发明属于跨媒体检索技术领域，具体为基于深度级联跨模态相关性的细粒度草图图像检索方法。本发明系统包括：深度多模态表示模块、深度多模态嵌入模块、深度三元组排序模块；深度多模态表示模块通过计算图像和文本在特征空间的高维映射，获取手绘草图、图像和图像文本描述的特征；深度多模态嵌入模块将不同模态的特征嵌入同一个高维向量空间，挑选出与查询草图具有较高相似性的候选集样本；深度三元组排序模块根据提取的多模态特征，对候选集样本进行排序优化，并输出与查询草图所对应的图像。本发明充分利用手绘草图和带有文本描述图像中的所有多模态信息，可以提高图像检索的效率，提升检索结果中前K个排名的有效性。

技术领域

本发明属于跨媒体检索技术领域，具体涉及细粒度手绘草图图像检索系统及方法。

背景技术

随着触摸屏技术的发展，手绘草图已经成为人们表达自己的视觉感受和查询意图的一种简单有效方法。因此，草图作为一种新的表达形式已引起计算机视觉领域的广泛研究兴趣，特别是基于草图的图像检索(Sketch-based Image Retrieval,SBIR)，该方法利用查询草图检索大规模图像集中的相关彩色图像。现有的大多数SBIR方法都集中在，建立草图和图像之间的类别级匹配，这可以看作是一个分类问题，即给定查询草图以检索具有相同类别标签的图像。但是，这样的方法低估草图的描述能力，并且无法捕获细粒度级别类别内变化的重要视觉属性，如姿势、视点、纹理、形状等。因此，类似于细粒度图像分类，重点是要在特定类别内，在细粒度实例级别挖掘手绘草图和自然彩色图像之间的对应关系，即细粒度草图图像检索(Fine-grained SBIR,FG-SBIR)。

另外，图像通常可以用不同模态(即视觉和语义)的形式来展示，例如带有用户定义的标签/叙述性文本描述的网络图像。但是，手绘草图的判别性较差，仅利用视觉信息无法很好地处理草图中的固有歧义。由于草图和图像之间的视觉差异以及草图和图像文本描述之间的语义差异，草图、视觉图像和图像标注文本语义之间可能存在显著的差异性和独立性，在充分利用视觉特征(体现在草图和图像中)与语义特征(体现在图像文本描述中)之间的关联性信息时，会存在巨大的困难和高度的不确定性。因此，将草图和带标注图像中有价值的多模态信息源汇集起来，用来实现更精细的草图-图像匹配，这些多模态信息源成为支持更为有效FG-SBIR方法的关键组成部分。

尽管近些年来部分学者对SBIR问题已进行广泛研究，但FG-SBIR仍然是一项充满挑战性的任务，值得去探究更优的解决方案。FG-SBIR着重于找到最密切相关的图像，这些图像拥有更加独特的细粒度视觉属性和细节，这些视觉属性和细节与查询草图在视觉和语义上均相关。由于草图、图像和图像文本描述是固有的多源异质模态，它们之间具有明显的不同表示形式，因此对于FG-SBIR应同时解决三个相互关联的问题：(1)有效的表示，可以用来表示有价值的多模态属性特征，用来跨越草图、图像和图像文本描述深度表示的语义鸿沟；(2)合理的建模，可以在实例级别学习草图与图像/描述之间的深度跨模态相关性，方便获取更为客观的草图-图像匹配对；和(3)适当的优化，可以确定草图和图像之间更好的细粒度对应关系，进一步深入理解查询草图。为解决第一个问题，需要探索适用于草图、图像和图像文本描述的合适的属性元素，以实现深度多模态特征表示。为解决第二个问题，需要建立可行的跨模态相关性建模方案，将不同模态的细粒度属性映射至同一嵌入空间中，用来获取它们实例级的统计依赖性与相关性。为解决第三个问题，需要设计一种高精度、低成本的有效排序优化策略，最大化草图-图像对之间相互关联的跨模态相关性。

发明内容

本发明解决的问题包括：现有手绘草图图像检索模型在手绘草图图像检索结果中检索出的图像准确率较低；检索出的图像与查询草图中目标对象不一致；及缺乏对于图像文本描述信息的有效利用。为此本发明提供一种基于深度级联跨模态相关性学习的细粒度手绘草图图像检索系统。