[发明专利]基于深度学习的多模态哈希方法

说明书

本发明揭示了一种基于深度学习的多模态哈希方法，包括如下步骤：S1、提取特征并依据特征生成相应的图像哈希二值码及文本哈希二值码；S2、通过损失函数训练网络，优化网络参数，将所生成的相似的图像哈希二值码和文本的哈希二值码映射到同一个样本空间内的相邻位置，最大化多模态相关性；S3、利用经过训练的网络，完成多模态相似性检索。本发明利用深度神经网络提取了同一实体的图像和文本的特征表示，其中，图像部分利用卷积神经网络提取图像的基本特征，文本部分利用Word2vec来训练语言模型，显著提高了检索的精度。

技术领域

本发明涉及一种哈希方法，尤其涉及一种基于深度学习的多模态哈希方法，属于深度学习、模式识别、哈希算法等交叉技术应用领域 。

背景技术

随着多媒体技术的发展,信息表达的方式呈现出多样化的发展趋势，多模态检索受到了越来越多的关注。多模态检索是指在文档有多种模态描述时可从一个模态检索到另一个模态,如以文本检索图像、以图像检索文本等。由于哈希方法具有存储开销低、快速有效等特征,因此被广泛地应用于多模态检索中。

虽然目前多模态哈希已经被广泛用于多模态相似性搜索中，但是大多数的多模态哈希方法需要人工提取特征，在哈希码的学习过程中很难达到最优，因此现有的多模态哈希方法还不能达到令人满意的效果。通常来说，关键词（文本）和图像并不在同一个空间中，因此无法直接比较。2016年，李武军提出了一种多模态深度哈希（DCMH，DeepCross-ModalHashing）算法，利用一个两路的深度模型将两种不同模态的数据（文章中是文本和图像）变换到一个公共空间，并要求相似的样本在这个公共空间中相互接近，从而提高了检索的精度。

虽然DCMH算法解决了不同模态之间相互检索以及人工提取特征等问题，但在实际的应用过程中，技术人员发现，其仍然存在着诸如检索时间长、内存占用大等缺点。此外，在DCMH算法中，哈希二值码的生成主要通过单独量化的方法进行，然而通过这种方法所生成的哈希编码也并非最优结果。

综上所述，如何在现有技术的基础上提出一种新的基于深度学习的多模态哈希方法，克服现有技术中的各项缺陷，也就成为了业内技术人员新的研究方向。

发明内容

鉴于现有技术存在上述缺陷，本发明提出了一种基于深度学习的多模态哈希方法，包括如下步骤：

S1、提取特征并依据特征生成相应的图像哈希二值码及文本哈希二值码；

S2、通过损失函数训练网络，优化网络参数，将所生成的相似的图像哈希二值码和文本的哈希二值码映射到同一个样本空间内的相邻位置，最大化多模态相关性；

S3、利用经过训练的网络，完成多模态相似性检索。

优选地，S1具体包括如下步骤：

S11、提取图像特征并生成图像哈希二值码；

S12、提取文本特征并生成文本哈希二值码。

优选地，S11具体包括如下步骤：

S111、使用神经网络、通过卷积层及全连接层对训练集中的图像数据的特征进行提取；

S112、使用一个带有R个隐藏单元的瓶颈层，将全连接层的输出转换为R维瓶颈向量；

S113、使用激活函数产生非线性的表示，将瓶颈向量的值约束在[-1，1]；

S114、通过集体量化生成图像哈希二值码。

优选地，S12具体包括如下步骤：

S121、使用文字模型进行文字特征提取训练，训练完成后，文字模型可将每个词映射为一个向量，表示出词对词之间的关系；