[发明专利]一种跨模态哈希检索方法、终端设备及存储介质

权利要求书

1.一种跨模态哈希检索方法，其特征在于，包括：

通过深度神经网络生成真实图像数据的真实图像哈希码和真实文本数据的真实文本哈希码；

根据所述真实图像数据和所述真实文本数据之间的共有标签，获取相似性度量；

根据所述真实图像哈希码、所述真实文本哈希码以及所述相似性度量进行模态间损失优化和模态内损失优化，以更新所述深度神经网络的参数并生成公共哈希码；

将更新参数后的所述深度神经网络生成的新真实图像哈希码输入第一生成器，将所述真实文本哈希码输入第一鉴别器，根据所述第一鉴别器输出的第一鉴别结果更新所述第一生成器的网络参数；

将更新参数后的所述深度神经网络生成的新真实文本哈希码输入第二生成器，将所述真实图像哈希码输入第二鉴别器，根据所述第二鉴别器输出的第二鉴别结果更新所述第二生成器的网络参数；

所述模态间损失优化的目标函数的表达式如下：

其中，H表示缺省的哈希码，θ_x表示所述深度神经网络中与所述真实图像相关的参数，x表示所述真实图像，θ_y表示所述深度神经网络中与所述真实文本相关的参数，y表示所述真实文本，C₁表示所述模态间损失的损失项，n表示样本的数量，i表示所述真实图像的计数序号，j表示所述真实文本的计数序号，S_ij表示相似矩阵，表示所述相似矩阵的内积，P表示所述n个样本的新真实图像哈希码向量，T表示n个样本的新真实文本哈希码向量，||·||_F表示F范数，所述模态间损失优化的目标函数的第一项使用负对数似然函数作为模态间相似性度量，1表示单位矩阵；

所述模态内损失优化的目标函数的表达式如下：

其中，C₂表示所述模态内损失的损失项，所述目标函数的第一项使用负对数似然函数作为所述真实图像数据的模态内相似性度量，所述模态内损失优化的第一项使用负对数似然函数作为所述真实图像数据的模态内相似性度量，所述模态内损失优化的目标函数的第二项使用负对数似然函数作为所述真实文本数据的模态内相似性度量；

所述公共哈希码的表达式如下：

H’＝sign(P+T)；

其中，H’表示公共哈希码，sign()表示符号函数；

所述第一鉴别器的梯度表达式如下：

所述第一生成器的梯度表达式如下：

其中，▽θ_d1表示所述第一鉴别器的梯度，表示所述真实文本哈希码，D₁()表示所述第一鉴别器鉴别图像为真的概率，G(H_x)表示所述第一生成器生成的虚拟图像哈希码，H_x表示所述新真实图像哈希码，▽θ_g1表示所述第一生成器的梯度，sign()表示符号函数，表示所述n个样本的真实文本哈希码向量，P表示所述n个样本的新真实图像哈希码向量；

所述第二鉴别器的梯度表达式如下：

所述第二生成器的梯度表达式如下：

其中，▽θ_d2表示所述第二鉴别器的梯度，表示所述真实图像哈希码，D₂()表示所述第二鉴别器鉴别图像为真的概率，G(H_y)表示所述第二生成器生成的虚拟文本哈希码，H_y表示所述新真实文本哈希码，▽θ_g2表示所述第二生成器的梯度，表示所述n个样本的真实图像哈希码向量，T表示所述n个样本的新真实文本哈希码向量。