[发明专利]一种基于多任务学习深度语义哈希的快速图像检索方法、模型及模型构建方法

摘要

本发明提供了一种基于多任务学习深度语义哈希的快速图像检索方法、模型及模型构建方法，基于分类任务可以提高哈希码的判别性及聚合性和检索任务可以保留哈希码的语义相似性，将分类任务与检索任务融入只有一个输出的单流(one‑stream)框架里，充分利用语义监督信息，以提高哈希码的紧致性、判别性及保留哈希码的语义相似性；本发明方案构建了单流(one‑stream)网络框架，结合多任务学习的方法，提高了哈希检索性能。

主权项

1.一种基于多任务学习深度语义哈希的快速图像检索模型构建方法，具体方法包括，S1，收集大量的训练图片，并进行图片类别标注；调整所有图片的大小到一个固定尺寸；将整个数据库随机划分成三个集合：查询集、数据库集和训练集。S2：构建一个哈希学习网络，对所构建的哈希学习网络进行参数初始化；在哈希学习网络的最后添加损失层。网络的损失函数J定义如下：J＝NJcl+λJre其中N代表训练集图像的总数，λ表示超参数以平衡用于分类任务的COCO损失Jcl及检索任务的成对损失Jre；对于单标签情形，采用下面的损失函数形式用于分类任务哈希码的学习：其中u_i表示网络最后一层经过tanh(·)激活函数的输出Y表示训练样本的标签矩阵，L表示类别数目，c_k表示第k类的中心；对于多标签情形，采用下面的损失函数形式用于分类任务哈希码的学习：其中C＝[c₁,c₂,…,c_L]表示在单标签情形下的原类别中心，表示给定的第i张图片的新的语义中心；针对检索任务，采用下面的成对损失形式：其中S∈{‑1,1}^N×N表示相似性矩阵，表示两张图片的汉明相似性；S3，将训练图片的RGB三个通道分别减去一个恒定的值作归一化处理；将归一化后的图片输入网络，经过最后tanh(·)激活函数的输出得到近似二值码的特征表示其中K表示哈希码的码长；对于单标签情形，计算损失函数对u_i的偏导数其中对于多标签情形，计算损失函数对u_i的偏导数其中利用反向传播算法，求得损失函数对网络参数Θ的偏导数；网络参数的更新使用梯度下降算法；对于语义中心的更新，分成单标签情形与多标签情形两种情况进行讨论；对于单标签情形，语义中心C＝[c₁,c₂,…,c_L]的更新，写成如下闭式解形式：对于多标签情形，语义中心C＝[c1,c2,…,cL]，可以采用如下加权平均的方式：S4，网络模型训练完成后，将数据库集图片按照S3归一化后输入训练好的哈希网络；将哈希网络最后的损失层替换成逐元素的sign(·)函数层，输出最终数据库图像的哈希码：bd＝sign(F(xd；Θ))＝sign(ud)利用训练集作为查询图片，计算查询的平均精度；按照交叉验证的原则，调整学习率、超参数λ的数值；按照调整后的参数，重复S2和S3对哈希网络进行重新训练。