[发明专利]基于直推式零样本哈希的多标签图像检索方法及设备

权利要求书

1.一种基于直推式零样本哈希的多标签图像检索方法，包含以下步骤：

步骤S1，构建已经标注的源域图像数据集以及标签集和未标注的目标域图像集，源域图像数据集和目标域图像数据集中的图像不含有相同类的物体；

步骤S2，构建深度学习网络模型，该模型包括特征提取网络，哈希学习网络和视觉-语义一致性学习网络；

步骤S3，利用S1构建的图像数据集对步骤S2构建的深度学习模型进行训练，源域图像数据集用于学习视觉图像和语义嵌入之间的关系，产生视觉语义损失；目标域图像数据集用于缓解域偏移，通过视觉-语义一致性学习网络得到预测标签作为监督信息产生哈希损失，两种损失共同反向传播更新网络，具体如下：

步骤S3-1，将S1中的源域数据集数据输入深度学习网络得到预测标签，将预测标签与源域标注集进行损失反向传播更新网络参数；

步骤S3-2，从S1中的目标域数据集中选取一部分作为训练集数据输入深度学习网络，进行实例-类别一致性排序，选取排序分数最高的作为预测标签；

步骤S3-3，预测标签作为监督信息进行哈希检索，将目标域训练集数据输入哈希学习网络得到哈希码，将哈希码相似度和预测标签相似度进行对比产生的哈希损失反向传播更新网络参数；

步骤S4，利用S3训练好的哈希学习网络实现待检索图像的哈希检索。

2.根据权利要求1所述的用于多标签图像检索的直推式零样本哈希方法，其特征在于：所述步骤S1具体为：

步骤S1-1，选取M个带有标注信息的图像形成源域数据集，每个图像里含有一个或多个物体类别；

步骤S1-2，对源域数据集中的M个图像中包含的类别进行分析，统计类别的总个数n，得到长度为n的标签，每一位代表一个类别，含有该类别图像时该位值为1，否则为0；

步骤S1-3，选择N个不含有标注信息的图像形成目标域数据集，这N个图像均不包含S1-2中所述的n个类别，即目标域和源域图像中包含的物体类别不重叠。

3.根据权利要求1所述的用于多标签图像检索的直推式零样本哈希方法，其特征在于：所述构建深度学习网络为一个端到端网络；所述特征提取网络为全卷积网络，包含卷积层和池化层；所述哈希学习网络为全连接网络，包含全连接层。

4.根据权利要求3所述的用于多标签图像检索的直推式零样本哈希方法，其特征在于：所述步骤S2中特征提取网络包含7层，第1层为输入层，由N幅图像构成，图像尺寸统一缩放为256×256，第2层为卷积池化层，卷积使用64个大小为5×5的卷积核，步长为2，池化尺寸为3×3，步长为2；第3层为卷积池化层，卷积使用64个大小为5×5的卷积核，步长为1，池化尺寸为3×3，步长为2；第4层为卷积池化层，卷积使用128个大小为3×3的卷积核，步长为1，池化尺寸为3×3，步长为2；第5层为卷积池化层，卷积使用128个大小为3×3的卷积核，步长为1，池化尺寸为3×3，步长为2；第6层为卷积池化层，卷积使用256个大小为3×3的卷积核，步长为1，池化尺寸为3×3，步长为2；第7层卷积池化层，卷积使用256个大小为3×3的卷积核，步长为1，池化尺寸为3×3，步长为2；第7层所得结果的特征图维度为4×4×256，将其展开得到4096维的特征向量。

5.根据权利要求3所述的用于多标签图像检索的直推式零样本哈希方法，其特征在于：采用聚焦损失+量化损失+相似度损失作为模型的损失函数，其定义为：

L_loss＝L_rank+L_p+L_q

具体地，

其中和分别代表与第i个实体相关和不相关的两个数据集，代表指示符，表示第i个实体与第j个标签相关，表示第i个实体与第j个标签不相关，w_i是一个正则化参数，O_ip代表在嵌入空间中第i个图像的视觉实例与第p个语义概念的关联度得分；

其中，表示所有图像哈希码的集合，S＝{s_ij}表示图像的相似性矩阵；

其中代表哈希层输出的概率分布，代表标签指示符，表示哈希层的输出量化为0，表示哈希层的输出量化为1。