[发明专利]一种融合监督信息的跨模态哈希检索方法和系统

摘要

本发明公开了一种融合监督信息的跨模态哈希检索方法和系统，所述方法包括：构建图像网络，文本网络和融合网络；获取图像和文本特征训练样本对，分别输入图像网络和文本网络；将图像网络和文本网络的输出特征作为所述融合网络的输入，并定义所述融合网络的输出；根据所述融合网络的输出和对间相似性构建学习统一哈希码的目标函数；求解所述目标函数，得到统一哈希码；将所述统一哈希码作为监督信息，结合语义信息，训练特定模态的哈希网络。本发明基于端到端的深度学习框架同时地学习特征表示和哈希编码，能够更有效地捕获不同模态数据之间的相关性，有助于跨模态检索精度的提高。

主权项

1.一种融合监督信息的跨模态哈希检索方法，其特征在于，包括以下步骤：构建图像网络，文本网络和融合网络；获取图像和文本特征训练样本对，分别输入图像网络和文本网络；将图像网络和文本网络的输出特征作为所述融合网络的输入，并定义所述融合网络的输出；根据所述融合网络的输出和对间相似性构建学习统一哈希码的目标函数；求解所述目标函数，得到统一哈希码；将所述统一哈希码作为监督信息，结合语义信息，训练特定模态的哈希网络；所述学习统一哈希码的目标函数为：其中，第一项是对间嵌入约束项，并且其中H_*i、H_*j分别表示不同训练样本对的融合网络输出，S＝{s_ij}表示对间相似性矩阵，B∈{‑1,1}^k×n表示统一的哈希码矩阵，p(s_ij|B)表示给定哈希码B时，s_ij的条件概率分布，λ表示超参；第二项最小化融合网络的输出和二进制码之间的损失，H＝h(Z；θ_z)∈R^k×n为融合网络的输出；第三项是平衡约束项，用来最大化每一位哈希码的信息，η表示超参，表示F范数；所述训练特定模态的哈希网络包括：求解总体目标函数，得到图像网络和文本网络的参数；所述总体目标函数为：其中，α、β、γ分别表示超参；J₁是模态间成对嵌入约束，其中F_*i＝f(v_i；θ_v)表示从图像网络输出的第i个样本的特征表示，G_*j＝g(t_j；θ_j)表示从文本网络输出的第j个样本的特征表示；J₂使用第一阶段得到的统一哈希码作为监督信息，训练特定模态的哈希网络，B∈{‑1,1}^k×n表示统一的哈希码矩阵，F表示图片特征输出，G表示文本特征输出；J₃将标签信息线性地映射到特定模态的网络，和分别表示图像和文本模态的映射矩阵，Y表示语义矩阵；J₄是平衡约束，用来最大化每一位的信息。