[发明专利]一种基于注意力机制哈希检索的图像匹配方法

说明书

一种基于注意力机制哈希检索的图像匹配方法，使用哈希函数以同时学习特定于域的图像表示和一组类似散列函数。不依赖于数据对的相似性，并且对数据集大小具有高度可扩展性，此次改进后，将所关注的重点与冗余数据进行分离开来，将重点区域进行突出，从而提高检索效率。注意力机制的应用改变了传统decoder对每一个输入都赋予相同向量的缺点，而是根据区域的不同赋予不同的权重。在encoder过程中，输出不再是一个固定长度的中间语义，而是一个由不同长度向量构成的序列，decoder过程根据这个序列子集进行进一步处理。通过该方法能够关注到更具区分性的区域，提高了模型生成哈希函数的质量。使得最为匹配的项位于最终检索结果的前面。

技术领域

本发明涉及图像检索技术领域，具体涉及一种基于注意力机制哈希检索的图像匹配方法。

背景技术

着科技进步，互联网技术飞速发展，技术更新日新月异，图像视频数据出现大爆炸式的增长，图像哈希检索技术旨在将已有数据集合进行搜索，找出符合要求的图像数据。由于哈希码具有存储数据小，检索速度快的优点，所以哈希检索被广泛应用在检索任务中，较少应用于图像匹配技术中。现有技术中，可以分为传统匹配算法和基于深度模型匹配技术。传统做法一般是采用模板匹配、基于图像纹理特征匹配、基于哈希算法的匹配等。但是其存在匹配效率低的问题。

发明内容

本发明为了克服以上技术的不足，提供了一种使用计算机视觉中的注意力机制与传统哈希检索方法结合，提高图像匹配效率的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于注意力机制哈希检索的图像匹配方法，包括如下步骤：

a)获取训练集原始图片，将图片分别对应不同残差网络进行输入；

b)将训练样本输入预训练模型中，通过最小化损失函数优化预训练模型参数；

c)固定优化后的预训练哈希检索模型，将步骤a)中的所有图片通过优化后的预训练哈希检索模型得到对应的哈希码，并将哈希码输入数据库中；

d)使用模型匹配任务时，将图片样本输入优化后的预训练哈希检索模型中生成该图片模态对应的哈希码，在另一模态的哈希码数据库中寻找与其海明距离最近的N个哈希码；

e)将得到的N个哈希码返回结果，将N个哈希码进行逆向处理得到图片数据。

进一步的，步骤b)中通过迭代优化的方式优化模型参数。

进一步的，步骤b)中优化预训练模型参数包括如下步骤：

b-1)生成具有多级语义的相似性矩阵S；

b-2)提取训练样本中的图片的模态特征，得到图像模态特征P_i，对训练样本中的图片进行分类任务处理，输出注意力图像；

b-3)将图像模态特征P_i与注意力图像进行点乘，得到图片模态的特征表示Fi和文本模态的特征表示Fj；

b-4)采用损失函数对哈希模型进行迭代优化，得到优化后的哈希检索模型。进一步的，步骤b-1)中具有多级语义的相似性矩阵S表示为其中|c_i|表示训练样本i所具有的类别数，|c_j|表示训练样本j所具有的类别数，D(i,j)为训练样本i和训练样本j所共有的类别数。

进一步的，步骤b-2)中采用Resnet101网络提取训练样本中的图片的模态特征，得到图像模态特征P_i，采用Resnet101网络将训练样本中的图片去掉全连接层后加入平均池化层，输出位样本类别数据，Resnet101网络对图片进行分类任务，在最后一层加入Attention机制后输出为注意力图像。