[发明专利]一种跨模态的哈希检索方法

说明书

一种跨模态的哈希检索方法，克服了在传统的图像检索中，对于图像信息现有的大多哈希检索模型都不能充分利用，图像中的北京和冗余信息和值得重点关注区域的信息在哈希学习过程中居于同样的地位的问题，本发明改进哈希检索模型后，将关注的重点与冗余数据进行分离开来，将所关注的重点区域进行突出，从而提高检索效率。通过Attention机制，模型能够关注到更具区分性的区域，提高了模型生成哈希函数的质量。使用多级语义监督方式，增强了拥有多个标签数据间检索的精度，使得最为匹配的项位于最终检索结果的前面。

技术领域

本发明涉及图像检索技术领域，具体涉及一种跨模态的哈希检索方法。

背景技术

随着科技进步，互联网技术飞速发展，技术更新日新月异，图像视频数据出现大爆炸式的增长，图像哈希检索技术旨在将已有数据集合进行搜索，找出符合要求的图像数据。由于哈希码具有存储数据小，检索速度快的优点，所以哈希检索被广泛应用在检索任务中。现有技术中，可以分为深度模型检索技术和非深度模型检索技术。传统做法一般是采用深度网络，提取图像特征。根据提取到的特征使用全连接网络在交叉熵损失将样本转化成哈希码保存在数据库中。本文中使用Attention机制，此机制近年来在计算机视觉中广泛应用，并且都取得了不错的效果，传统的Attention机制用在图像识别上，能够自发寻找图像中的需要重点关注的地方，即通过学习生成一个和图像表示大小相同的Mask，对于关注区域，Mask对应位置具有较高关注区域。此次将Attention机制融合进哈希检索方法中，使其更具有解释性，提高检索效率。

发明内容

本发明为了克服以上技术的不足，提供了一种提高检索效率及检索精度的跨模态的哈希检索方法。

本发明克服其技术问题所采用的技术方案是：

一种跨模态的哈希检索方法，包括如下步骤：

a)获取训练集原始图片，将图片分别对应不同残差网络进行输入；

b)将训练样本输入预训练模型中，通过最小化损失函数优化预训练模型参数；

c)生成具有多级语义的相似性矩阵S；

d)提取训练样本中的图片的模态特征，得到图像模态特征P_i，对训练样本中的图片进行分类任务处理，输出注意力图像；

e)将图像模态特征P_i与注意力图像进行点乘，得到图片模态的特征表示Fi和文本模态的特征表示Fj；

f)采用损失函数对哈希模型进行迭代优化，得到优化后的哈希检索模型；

g)固定优化后的预训练哈希检索模型，将步骤a)中的所有图片通过优化后的预训练哈希检索模型得到对应的哈希码，并将哈希码输入数据库中；

h)使用模型进行检索图片任务时，将图片的任意模态样本输入优化后的预训练哈希检索模型中生成该图片模态对应的哈希码，在另一模态的哈希码数据库中寻找与其海明距离最近的N个哈希码后返回与该图片对应的样本。

进一步的，步骤c)中具有多级语义的相似性矩阵S表示为其中|c_i|表示训练样本i所具有的类别数，|c_j|表示训练样本j所具有的类别数，D(i,j)为训练样本i和训练样本j所共有的类别数。

进一步的，步骤d)中采用Resnet101网络提取训练样本中的图片的模态特征，得到图像模态特征P_i，采用Resnet101网络将训练样本中的图片去掉全连接层后加入平均池化层，输出位样本类别数据，Resnet101网络对图片进行分类任务，在最后一层加入Attention机制后输出为注意力图像。