[发明专利]一种融合监督信息的跨模态哈希检索方法和系统

权利要求书

1.一种融合监督信息的跨模态哈希检索方法，其特征在于，包括以下步骤：

构建图像网络，文本网络和融合网络；

获取图像和文本特征训练样本对，分别输入图像网络和文本网络；

将图像网络和文本网络的输出特征作为所述融合网络的输入，并定义所述融合网络的输出；

根据所述融合网络的输出和对间相似性构建学习统一哈希码的目标函数；

求解所述目标函数，得到统一哈希码；

将所述统一哈希码作为监督信息，结合语义信息，训练特定模态的哈希网络；

所述学习统一哈希码的目标函数为：

其中，第一项是对间嵌入约束项，并且

其中H_*i、H_*j分别表示不同训练样本对的融合网络输出，S＝{s_ij}表示对间相似性矩阵，B∈{-1,1}^k×n表示统一的哈希码矩阵，p(s_ij|B)表示给定哈希码B时，s_ij的条件概率分布，λ表示超参；第二项最小化融合网络的输出和二进制码之间的损失，H＝h(Z；θ_z)∈R^k×n为融合网络的输出；第三项是平衡约束项，用来最大化每一位哈希码的信息，η表示超参，表示F范数；

所述训练特定模态的哈希网络包括：求解总体目标函数，得到图像网络和文本网络的参数；所述总体目标函数为：

其中，α、β、γ分别表示超参；J₁是模态间成对嵌入约束，其中F_*i＝f(v_i；θ_v)表示从图像网络输出的第i个样本的特征表示，G_*j＝g(t_j；θ_j)表示从文本网络输出的第j个样本的特征表示；J₂使用第一阶段得到的统一哈希码作为监督信息，训练特定模态的哈希网络，B∈{-1,1}^k×n表示统一的哈希码矩阵，F表示图片特征输出，G表示文本特征输出；J₃将标签信息线性地映射到特定模态的网络，和分别表示图像和文本模态的映射矩阵，Y表示语义矩阵；J₄是平衡约束，用来最大化每一位的信息。

2.如权利要求1所述的一种融合监督信息的跨模态哈希检索方法，其特征在于，所述图像网络包括5个卷积层和3个全连接层；文本网络包括两个全连接层；融合网络包括两个全连接层；其中，所述图像网络和文本网络最后一层的隐藏单元个数相等，融合网络的第二层为哈希层，并且其激活函数为判别函数。

3.如权利要求1所述的一种融合监督信息的跨模态哈希检索方法，其特征在于，将所述图像网络和文本网络的输出特征通过非线性激活函数，得到所述融合网络的输入。

4.如权利要求1所述的一种融合监督信息的跨模态哈希检索方法，其特征在于，求解所述目标函数包括：

初始化图像、文本和融合网络参数θ＝{θ_v,θ_t,θ_z}，和批量大小；

固定网络参数θ＝{θ_v,θ_t,θ_z}，更新统一的哈希码B；

然后固定B，利用小批量随机梯度下降法更新参数θ＝{θ_v,θ_t,θ_z}；

不断交替更新，直至收敛。

5.如权利要求1所述的一种融合监督信息的跨模态哈希检索方法，其特征在于，所述特定模态的哈希网络中，图像网络包括5个卷积层、2个全连接层和1个哈希层，文本网络包括1个全连接层和1个哈希层；其中，所述图像网络和文本网络中的哈希层的激活函数为判别函数。