[发明专利]融合语义信息和多级相似性的深度哈希图像检索方法

说明书

本发明公开了一种融合语义信息和多级相似性的深度哈希图像检索方法，包括以下步骤；S1，构建图像数据库；S2，构建标签向量矩阵和语义向量矩阵；S3，构建相似度矩阵；S4，搭建深度哈希神经网络模型，将原始图像转换为近似哈希向量；S5，构建对相似图片哈希向量的海明距离有下界约束的损失函数；S6，对搭建的深度哈希神经网络模型进行训练；S7，构建图像的哈希向量数据库；S8，将待检索图像的哈希向量与哈希向量数据库里的向量进行对比，以找出相似的图像。本发明通过融合语义信息，提高了图像检索的精度；并通过约束两张相似图片所对应哈希向量间的海明距离的下界，提高了检索性能。

技术领域

本发明涉及图像检索技术领域，具体涉及一种融合语义信息和多级相似性的深度哈希图像检索方法。

背景技术

近年来，随着互联网的发展，海量的图像数据给图像检索任务带来了巨大的挑战。面对大规模且复杂的图像数据，检索系统应在保证图像检索质量的同时，也要兼顾检索的效率，同时还要解决海量信息的存储有效性问题，以实现更好的用户体验。因此，研究更优的图像检索方法具有很高的现实意义。

基于深度哈希技术来进行图像检索是目前比较常用的方法，其优势在于：通过将图片映射为二进制哈希向量，可以利用位运算快速比较特征，提高检索速度，同时减少需占用的存储空间。

面对较为复杂的图片，传统的深度哈希方法暴露出明显的缺点。一方面，衡量不同图像之间的相似度时过于粗糙。即只要两张图片共享标签，就视为相似；反之则不相似。这样做没有考虑到图片间更细粒度的相似度等级，以及图片所蕴含的语义信息。另一方面，对于传统的二元组损失函数，只用一个指定阈值来约束两张相似图片的哈希向量间的海明距离上界，对下界没有任何约束。这就使得具有不同程度相似性的图像间的相对距离无法保证，也就导致图像检索结果中排序准确度的降低。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供一种融合语义信息和多级相似性的深度哈希图像检索方法，以融合语义信息，考虑到图片间更细粒度的相似度等级，提高图像的检索精度；并通过采用新的二元组损失函数，构建对相似图片哈希向量的海明距离有下界约束的损失函数，提高图像检索结果中排序的准确度。

为了实现上述发明目的，本发明提供了以下技术方案：

一种融合语义信息和多级相似性的深度哈希图像检索方法，包括以下步骤：

S1，构建图像数据库；

S2，构建标签向量矩阵和语义向量矩阵；

S3，构建相似度矩阵；

S4，搭建深度哈希神经网络模型，将原始图像转换为近似哈希向量；

S5，构建对相似图片哈希向量的海明距离有下界约束的损失函数；

S6，对搭建的深度哈希神经网络模型进行训练；

S7，构建图像的哈希向量数据库；

S8，将待检索图像的哈希向量与哈希向量数据库里的向量进行对比，以找出相似的图像。基于标签向量矩阵和语义向量矩阵构建相似度矩阵，以融合语义信息，提高图像的检索精度；并通过构建对相似图片哈希向量的海明距离有下界约束的损失函数，提高图像检索结果中排序的准确度。

优选地，所述步骤S2中，构建标签向量矩阵和语义向量矩阵的步骤如下：

从图像数据库中随机抽取图像及对应的标签和文本描述，以构建出标签向量矩阵和语义向量矩阵；利用标签信息构建出标签向量矩阵L，其中L_i,j＝0表示第i张图片不含有第j个标签，L_i,j＝1表示第i张图片含有第j个标签；利用自然语言处理技术，将每张图片的文本描述编码成一个向量，构建出图片语义向量矩阵C，其中，Ci表示第i张图片的文本描述对应的向量，用此向量代表该图片的语义信息。