[发明专利]基于深度跨模态相关性学习的手绘草图的图像检索方法

说明书

本发明属于跨媒体相关性学习技术领域，具体为基于深度跨模态相关性学习的手绘草图的图像检索方法。本发明包括三个主要算法：深度多模态特征生成，多模态相关性学习建模，相似度排序优化。本发明利用深度学习技术来构造深度语义特征和深度视觉特征来分别描述多模态文档中的文本标注部分和图像/草图部分。基于这样的多模态文档表示，通过构建跨模态的相关性模型对整个多模态文档集合进行建模，从而对多模态文档的不同模态之间的关联进行描述。基于相关性建模后得到的相关性特征，对检索结果进行排序优化，返回与查询草图最大相似度的彩色图像和文本。

技术领域

本发明属于多媒体信息检索技术领域，具体涉及基于深度跨模态相关性学习的手绘草图检索方法。

背景技术

随着图像采集设备如手机、数码相机的普及以及互联网技术的发展，数字图像在过去几十年间呈爆炸增长趋势，一些图像分享网站，如Flickr，每日图像上传数量达到百万级。如何有效进行图像查找已经成为学术界和工业界的热点研究对象，许多图像检索系统也由此应运而生。早期的图像检索技术根据输入类型不同主要分为两类，第一种是基于文本的图像检索技术(Text-based Image Retrieval，TBIR)，第二种是基于内容的图像检索(Content-based Image Retrieval，CBIR)。

基于文本的图像检索技术是指根据用户输入的文本来实现检索，这种方式比较直观准确地反映了用户的真实需求。这些文本包括图像的属性，名称，拍摄地点，作者等。这种检索方式需要用户能精确地用文本表达出真实意图，同时数据库中的图像需要有相应的图像标注。而实际上不同个体对某种事物的主观理解不同，反映到文本表达也有所差别。另外依靠人工标注海量图像几乎是不可能的。一种更为有效的图像检索技术——基于内容的图像检索技术越来越受到大家的关注。基于内容的图像检索技术就是根据图像本身作为检索输入，检索出相似的图像。它往往利用图像本身的内容信息作为匹配特征，例如颜色、纹理、轮廓等。与基于文本的图像检索技术相比，基于内容的图像检索技术比较好地直接使用了图像本身包含的客观视觉特征。但是需要寻找与想要查询的图像相似的图像作为查询输入往往是非常困难的。对于大众来说，如果能用简单勾勒出的线条图像作为检索输入更为简单方便，这些需求促使了基于手绘草图的图像检索技术(Sketch-based Image Retrieval,SBIR)的发展。

基于草图的图像检索技术是根据用户手绘的线条图像作为查询输入，检索包含相似线条轮廓的彩色图像。但是草图只包含了物体粗略的轮廓信息，而彩色图像拥有更丰富准确的信息，例如颜色、纹理等，因此将草图中的线条图像与彩色图像进行匹配是非常困难的任务。尤其现有的互联网上的数据不是单模态的存在，尤其对于图像检索，目标图像往往伴有文本描述。这些信息往往容易被忽略的。若要构建有效的基于草图的图像检索系统，以下三个方面的问题需要同时被很好地解决：

1、草图、彩图和文本是三种不同模态的异构数据，如何从中抽取丰富的多模态特征，更好的表示这些模态的数据，为后续处理提供有用的信息。

2、基于草图的图像检索实质上是跨模态信息检索，需要消除不同模态数据间视觉和语义鸿沟，建立草图、彩图和文本的相关性。如何获得它们在统一空间下向量表示，能够直接进行匹配。

3、基于有效的特征表达，如何建立更加合理的相似度匹配方式，使得查询草图获得更为相关的检索结果。

为了解决第一个问题，最重要的就是充分挖掘草图和彩图的深度视觉信息和文本的深度语义信息，探索有效的特征表达，保留多模态数据的区分性信息，剔除冗余信息，更为准确和全面地描述草图、彩图和文本。

为了解决第二个问题，建立稳定的跨模态相关分析算法分析不同模态数据的关联性是非常重要的。将多模态数据投射到统一的空间中，在统一空间下进行关联建模，强化匹配样本之间的相似性，弱化不匹配样本的关联性。利用统一空间下学习到的新的特征作匹配。