[发明专利]基于深度跨模态相关性学习的手绘草图的图像检索方法

摘要

本发明属于跨媒体相关性学习技术领域，具体为基于深度跨模态相关性学习的手绘草图的图像检索方法。本发明包括三个主要算法：深度多模态特征生成，多模态相关性学习建模，相似度排序优化。本发明利用深度学习技术来构造深度语义特征和深度视觉特征来分别描述多模态文档中的文本标注部分和图像/草图部分。基于这样的多模态文档表示，通过构建跨模态的相关性模型对整个多模态文档集合进行建模，从而对多模态文档的不同模态之间的关联进行描述。基于相关性建模后得到的相关性特征，对检索结果进行排序优化，返回与查询草图最大相似度的彩色图像和文本。

主权项

1.一种基于深度跨模态相关性学习的手绘草图的图像检索方法，其特征在于，包括：步骤一、数据预处理：从多媒体数据集中采集多模态数据，得到图像数据库和图像的文本标注，整理图像文本标注数据集中不常出现或者无用的标注词，通过类草图生成算法得到彩色图像的边缘轮廓图像作为类草图构建训练集；步骤二、提取多模态数据的深度特征：多模态数据包括文本标注、彩图和草图或/和类草图，利用深度学习的方法提取查询草图和类草图图像的深度视觉特征，彩色图像的深度视觉特征和图像文本描述的深度语义特征；步骤三、融合多模态信息的跨模态相关性学习：基于步骤二中构建的草图、彩图和文本标注的深度特征，使用深度典型相关性分析算法构建跨模态相关性学习模型，深度挖掘草图、彩图和文本的关联信息；利用学习到的相关性模型抽取草图、彩图和文本的相关性特征；步骤四、利用跨模态相关性建模后的草图、彩图和类草图的相关性特征，在训练集上做基于距离度量的检索，采样得到正样本和负样本优化检索相关性函数；选取检索结果排序较高的图像和对应文本作为查询样本的正样本，选取排序较低的样本作为负样本，迭代训练和优化相似度函数；步骤五、基于深度跨模态相关性学习的草图检索：根据学习到的相关性模型抽取查询草图的相关性特征，与数据库中的提前抽取好的类草图、彩图和文本的相关性特征利用优化的相似度函数计算相似度得到查询排序列表。