[发明专利]一种基于属性引导对抗哈希网络的零样本图像检索方法

说明书

本发明属于图像处理的技术领域，具体涉及一种基于属性引导对抗哈希网络的零样本图像检索方法，包括将图像的高维特征向量输入到一个三层全连接神经网络V2A‑Net，将文本的高维特征向量输入到一个三层全连接神经网络T2A‑Net，把V2A‑Net输出的图像特征和T2A‑Net输出的文本特征输入到判别器D，把V2A‑Net输出的图像特征f_V2A和T2A‑Net输出的文本特征f_T2A输入到一个三层全连接哈希码生成网络A2H‑Net，从而产生图像对应的哈希码和文本对应的哈希码。本发明的检索方法能够显著提高零样本条件下以标签检索图像的准确率，并极大地提高了检索效率，从而实现了图像的快速检索。

技术领域

本发明属于图像处理的技术领域，具体涉及一种基于属性引导对抗哈希网络的零样本图像检索方法。

背景技术

图像识别和处理是人工智能领域研究的基本课题之一，对AI方面的学术发展和工业生产都有重要意义，其基本思想是利用算法让计算机能够像人类一样“看到”图像，并能够识别其类别，从而赋予计算机视觉识别的能力。

随着大数据时代的到来和深度学习卷积神经网络的飞速发展，对于特定的任务，只要能够获得每一个类别足够多的图像，将其输入到深度神经网络学习得到网络的最优参数矩阵，就能够在测试数据集上轻松地达到很高的识别准确率。

然而，在现实生活中，海量数据往往不是轻易就能够获得的，并且，人工标注的成本也相当高，因此，为了解决上述问题，对零样本学习技术的研究具有非常实际的应用意义。零样本学习与传统模式识别技术不同之处在于训练样本和测试样本的类别互不相交，也就是说，测试阶段的数据属于未见类，但是参与训练的已知类别与测试阶段的未见类别之间能够共享一定维度的属性语义信息，所以，如何利用这些属性语义信息把在已知类别的数据下学习到的模型有效地迁移到未见类别，是零样本学习研究的重点，这也是本发明着力解决的问题之一。并且，现有的图像检索方法的准确率低，检索效率低，不能满足高效检索的需求。

为此，亟需提出一种新型的图像检索方法以解决上述问题。

发明内容

本发明的目的在于：针对现有技术的不足，提供一种基于属性引导对抗哈希网络的零样本图像检索方法，能够显著提高零样本条件下以标签检索图像的准确率，并极大地提高了检索效率，从而实现了图像的快速检索。

为了实现上述目的，本发明采用如下技术方案：

一种基于属性引导对抗哈希网络的零样本图像检索方法，包括以下步骤：

S1、向ResNet-101模型输入图像，向Word2Vec模型输入所述图像的类别标签的文本，提取所述图像的高维特征向量f_img和所述文本的高维特征向量f_txt；

S2、将所述f_img输入到一个三层全连接神经网络V2A-Net，将所述f_txt输入到一个三层全连接神经网络T2A-Net，以二值化属性向量作为监督训练所述V2A-Net和所述T2A-Net的网络参数；

S3、把所述V2A-Net输出的图像特征f_V2A和所述T2A-Net输出的文本特征f_T2A共同输入到一个由两层神经网络构成的判别器D，以输入的图像特征的标签为1，以输入的文本特征的标签为0，对抗训练并调节所述V2A-Net和所述T2A-Net的网络参数；

S4、经过所述S3的对抗训练后，把所述V2A-Net输出的图像特征f_V2A和所述T2A-Net输出的文本特征f_T2A输入到一个三层全连接哈希码生成网络A2H-Net从而产生所述图像对应的哈希码和所述文本对应的哈希码。

进一步地，所述S2中的监督训练所述V2A-Net还包括计算所述V2A-Net的损失函数L_V2A，其计算过程包括