[发明专利]一种跨模态的哈希检索方法

权利要求书

1.一种跨模态的哈希检索方法，其特征在于，包括如下步骤：

a)获取训练集原始图片，将图片分别对应不同残差网络进行输入；

b)将训练样本输入预训练模型中，通过最小化损失函数优化预训练模型参数；

c)生成具有多级语义的相似性矩阵S；

d)提取训练样本中的图片的模态特征，得到图像模态特征P_i，对训练样本中的图片进行分类任务处理，输出注意力图像；

e)将图像模态特征P_i与注意力图像进行点乘，得到图片模态的特征表示Fi和文本模态的特征表示Fj；

f)采用损失函数对哈希模型进行迭代优化，得到优化后的哈希检索模型；

g)固定优化后的预训练哈希检索模型，将步骤a)中的所有图片通过优化后的预训练哈希检索模型得到对应的哈希码，并将哈希码输入数据库中；

h)使用模型进行检索图片任务时，将图片的任意模态样本输入优化后的预训练哈希检索模型中生成该图片模态对应的哈希码，在另一模态的哈希码数据库中寻找与其海明距离最近的N个哈希码后返回与该图片对应的样本。

2.根据权利要求1所述的跨模态的哈希检索方法，其特征在于：步骤c)中具有多级语义的相似性矩阵S表示为其中|c_i|表示训练样本i所具有的类别数，|c_j|表示训练样本j所具有的类别数，D(i,j)为训练样本i和训练样本j所共有的类别数。

3.根据权利要求1所述的跨模态的哈希检索方法，其特征在于：步骤d)中采用Resnet101网络提取训练样本中的图片的模态特征，得到图像模态特征P_i，采用Resnet101网络将训练样本中的图片去掉全连接层后加入平均池化层，输出位样本类别数据，Resnet101网络对图片进行分类任务，在最后一层加入Attention机制后输出为注意力图像。

4.根据权利要求1所述的跨模态的哈希检索方法，其特征在于：步骤e)中将图像模态特征P_i与注意力图像进行点乘后的结果作为输入进入全连接层得到图片模态的特征Fi，将文本模条的BOW表示输入到全连接层得到文本模态的特征表示Fj。

5.根据权利要求1所述的跨模态的哈希检索方法，其特征在于：步骤f)中通过公式计算得到损失函数L，式中S_ij为训练样本i和训练样本j组成的相似性矩阵，σ为常数，F_i^T为图片模态的特征表示Fi的转置，L₂为量化损失，L₃为平衡损失，n为训练样本i和训练样本j的最大数。