[发明专利]基于直推式零样本哈希的多标签图像检索方法及设备

说明书

本发明公开了一种用于多标签图像检索的直推式零样本哈希方法及设备。本方法利用带有标注的源域数据和不带标注的目标域数据进行零样本训练，结合深度卷积神经网络学习利用源域学习视觉特征与语义嵌入之间的关系，利用目标域缓解域偏移的问题，构建了一种端到端的深度学习模型，对没有认为标注信息的图像进行检索，输出与检索图像类似的多幅图像，有效的提高了无标注多标签图像的检索效率。

技术领域

本发明涉及人工智能和图像检索领域，具体涉及一种基于直推式零样本哈希的多标签图像检索方法及设备。

背景技术

哈希算法能在保持数据相似性的同时将高维数据转换为紧凑的二进制代码，具有计算效率高、存储成本低的优点，在大规模图像检索中被广泛应用。现有的哈希算法大致可以分为有监督的和无监督的两类。有监督的哈希算法将人为标注的信息(如语义标签和相似性)融入到学习过程中以寻找最优的哈希函数，而无监督的哈希算法通常利用未标记的数据的内在流形结构来学习哈希函数。

近年来受深度神经网络在计算机视觉应用领域取得显著成就的启发，许多哈希算法转向使用深度神经网络进行哈希学习。这些深度哈希算法大大提高了哈希检索的性能。但是随着数据的大规模增加，现在很多图像可能包含以前没有定义的概念。比如每年都会有不同外观的商业机器人投放市场，包含这些新产品的图片与之前带有预定义标签的图片相比是“不可见的”。由于手工标注的成本很高，这些包含新物体的图片大多缺少真实标签，所以用这些图片进行有监督的哈希检索存在巨大的挑战。

零样本学习的出现一定程度上缓解了这一问题，但是现有的零样本学习算法大多是针对单标签图像的，运用的是一对一的视觉语义表示对。在复杂的实际场景中，一个图像通常包含多个对象，具有更为复杂的语义关系。如何表示多标签图像复杂的视觉语义关系以及如何缓解从源域中学习到的哈希函数不完全适应目标域产生的域偏移问题常常难以解决。

针对上述问题，本发明提出了一种新的基于直推式零样本哈希的多标签图像检索方法。本发明致力于用带标记的源数据学习视觉图像与语义嵌入之间的关系，利用目标域的未标记数据缓解域偏移问题，研究和探索出一种准确率更好的图像检索算法。

发明内容

本发明提出的方法，输入是一幅待检索的图像，输出为与输入图像包含相同类别物体的多幅图像。本发明使用源域和目标域图像共同训练网络，缓解域偏移问题，使用视觉-语义一致性排序将源域和目标域联系起来提高检索准确率。

本发明所设计的一种基于直推式零样本哈希的多标签图像检索方法，包含以下步骤：

步骤S1，构建已经标注的源域图像数据集以及标签集和未标注的目标域图像集，源域图像数据集和目标域图像数据集中的图像不含有相同类的物体；

步骤S2，构建深度学习网络模型，该模型包括特征提取网络，哈希学习网络和视觉-语义一致性学习网络；

步骤S3，利用S1构建的图像数据集对步骤S2构建的深度学习模型进行训练，源域图像数据集用于学习视觉图像和语义嵌入之间的关系，产生视觉语义损失；目标域图像数据集用于缓解域偏移，通过视觉-语义一致性学习网络得到预测标签作为监督信息产生哈希损失，两种损失共同反向传播更新网络；

步骤S4，利用S3训练好的哈希学习网络实现待检索图像的哈希检索。

进一步地，所述步骤S1具体为：

步骤S1-1,选取M个带有标注信息的图像形成源域数据集，每个图像里含有一个或多个物体类别；

步骤S1-2,对源域数据集中的M个图像中包含的类别进行分析，统计类别的总个数n，得到长度为n的标签，每一位代表一个类别，含有该类别图像时该位值为1，否则为0；

步骤S1-3，选择N个不含有标注信息的图像形成目标域数据集，这N个图像均不包含S1-2中所述的n个类别，即目标域和源域图像中包含的物体类别不重叠。