[发明专利]基于虚拟标签回归的无监督跨模态哈希检索方法及系统

权利要求书

1.一种基于虚拟标签回归的无监督跨模态哈希检索方法，其特征在于，步骤如下：

获取跨模态检索数据集，并将它们划分为训练集、测试集和数据库集，其中每个样本都包括成对的图像和文本两个模态的数据；

构建深度哈希网络模型并进行网络参数初始化，将两个模态的原始数据分别输入到所构建的深度哈希网络中，分别得到两个模态的哈希函数；

利用各模态的哈希函数获取测试集和数据库集中样本的哈希码，计算每个测试集样本的哈希码与数据库集样本的哈希码之间的汉明距离，数据库集样本按其对应的汉明距离升序排序，得到检索结果；

将两个模态的原始数据分别输入到所构建的深度哈希网络中，获取两个模态的深度特征矩阵，所述深度特征矩阵沿着网络继续传输，得到深度哈希网络的输出值；

根据训练集的深度特征矩阵、虚拟标签矩阵和深度哈希网络的输出值，分别构建深度特征的协同矩阵分解、虚拟标签的学习与回归以及哈希函数学习的损失函数，整合上述损失函数得到整体的目标函数，求解目标函数，分别得到两个模态的哈希函数，所述目标函数，具体为：

上式左边第一项通过深度特征的协同矩阵分解，分别建立两个模态样本的深度特征和共享哈希码之间的关联；第二项将虚拟标签矩阵G回归到哈希码B中，保持了哈希码和虚拟标签之间的语义一致性；第三项通过非负谱分析学习虚拟标签；第四项分别学习两种模态的深度哈希函数，Z_t表示第t个模态的深度特征矩阵，U_t表示第t个模态的潜在因子矩阵，B是学习到的共享哈希码，α_t是两个模态间的权重因子，η用来控制权重的分布，G表示虚拟标签矩阵，P是语义转换矩阵，L是图拉普拉斯矩阵，F_t(X_t；W_t)是深度哈希网络的输出值，λ、β和μ是正则化参数，I表示单位矩阵，n表示训练集样本点的个数，r表示哈希码的长度，X_t表示原始数据特征矩阵，W_t表示整个深度哈希网络的参数。

2.如权利要求1所述的基于虚拟标签回归的无监督跨模态哈希检索方法，其特征在于，采用迭代优化方法求解目标函数，利用反向传播和随机梯度下降算法更新网络参数，直至收敛。

3.如权利要求1所述的基于虚拟标签回归的无监督跨模态哈希检索方法，其特征在于，对于图像模态，采用VGG-16模型作为深度哈希网络模型，并使用在大规模ImageNet数据集上预先训练的权值对其进行初始化，卷积层和前两个全连接层构成特征表示部分，用于获取图像的深度特征，最后一个全连接层的神经元数目设置为哈希码长度，并选择双曲正切函数作为激活函数，得到深度网络的输出。

4.如权利要求1所述的基于虚拟标签回归的无监督跨模态哈希检索方法，其特征在于，对于文本模态，首先基于Bag-of-words模型提取文本特征，然后将文本特征传输到全连接层，前两个全连接层用于获取文本的深度特征，最后一个全连接层的神经元数目设置为哈希码长度，选择双曲正切函数作为激活函数，得到深度网络的输出。

5.如权利要求1所述的基于虚拟标签回归的无监督跨模态哈希检索方法，其特征在于，采用精度和平均精度作为检索评价指标，所述精度和平均精度值越大表示检索性能越好。