[发明专利]基于多层语义深度哈希算法的图像-文本跨模态检索

权利要求书

1.一种基于多层语义深度哈希算法的图像-文本跨模态检索方法。其特征在于：整体框架包含三个模块：深度特征提取模块、相似度矩阵生成模块、哈希码学习模块；分别采用两个深度神经网络提取图像和文字特征，将特征学习和哈希码学习过程统一在一个框架内，并通过引入基于标签共现的多层次语义监督信息指导整个训练过程，使得到的二值码不仅保留了原样本空间基本的相似/不相似关系，并且能够区分样本间的相似程度，更大程度的保留样本间的高层语义，提高检索准确率；在结构上，通过对网络施加“在语义空间相似的图像和文字在汉明空间具有相似的哈希码”这一约束进行训练，直接将哈希码作为网络的输出，实现端到端学习，从而保证学习到的特征适应特定的检索任务。

2.根据权利要求1所述的一种基于多层语义深度哈希算法的图像-文本跨模态检索方法，其特征在于：整体框架由深度特征提取模块、相似度矩阵生成模块、哈希码学习模块三个部分构成，通过将原始空间的数据映射为汉明空间中由统一形式的“+1/-1”构成的二值码向量，降低存储空间，提高计算效率。

3.根据权利要求1所述的一种基于多层语义深度哈希算法的图像-文本跨模态检索方法，其特征在于：深度特征提取模块对图像和文本数据分别采用不同的深度神经网络，提取两种模态数据的语义特征，对图像数据，采用改进的CNN-F网络，对文本数据，采用多层感知机网络。

4.根据权利要求1所述的一种基于多层语义深度哈希算法的图像-文本跨模态检索方法，其特征在于：相似度矩阵生成模块根据不同模态数据之间是否有共同标签生成二值相似度矩阵，根据不同模态数据标签的相似性大小生成多层语义相似度矩阵，保留更多标签提供的寓意信息。

5.根据权利要求1所述的一种基于多层语义深度哈希算法的图像-文本跨模态检索方法，其特征在于：哈希码学习模块通过设计同时保留数据在原语义空间的二值相似度信息和多层语义相似度信息的目标函数，对网络进行训练，学习特征空间到汉明空间的映射。