[发明专利]基于深度哈希能量模型的多标签图像检索方法和装置

说明书

本申请提出了一种基于深度哈希能量模型的多标签图像检索方法及装置，涉及图像检索技术领域。其中，该方法包括：获取查询图像，通过能量模型预训练完成的模型文件获取所述查询图像的哈希编码，所述能量模型包括基于噪声对比估计NCE的EBM分类损失模型，和通过均方误差MSE对所述能量模型进行模型优化的哈希量化MSE损失模型，基于所述的EBM分类损失模型和所述的哈希量化MSE损失模型建立联合学习模型；遵循汉明空间检索的评估方法，包括剪枝和扫描。上述方案中EBM分类损失模型用以预测多标签图像的分类信息，哈希量化MSE损失模型用以帮助深度网络模型学习到更好的哈希编码，由此，基于EBM分类损失模型和哈希量化MSE损失模型建立联合学习模型充分利用深度哈希和能量模型两者的优势，有效提升了模型的图像检索准确性。

技术领域

本发明属于图像检索技术领域，具体涉及一种基于深度哈希能量模型的多标签图像检索方法及装置。

背景技术

近年来，随着多媒体技术及计算机互联网的普及与发展，摄影设备日趋便捷化、平民化，图像数据以惊人的规模飞速增长。如何在海量图像中寻找到目标图像，已经成为计算机视觉领域一大研究热点。

用户提交检索要求，图像数据库返回满足要求的图像，这一过程被称为图像检索。如何满足多样的检索条件，继而快速而准确地提供检索结果，是图像检索领域的研究目标。图像检索的应用范围极为广泛，遍及人们生产、生活的各个领域，如智慧城市、公共安全、智能识图等，已经成为人们在视觉信息管理方面不可或缺的技术。自然界中的图像往往比较复杂，不只含有一个对象，单个标签不足以描述图像所蕴含的完整的语义信息。因此，多标签的检索问题更贴近现实情境，也更具有普适性，单标签问题可视作多标签问题的一个特殊情况。

对图像检索的研究始于20世纪70年代，最早的研究方向是基于文本的图像检索(Text-Based Image Retrieval, TBIR)，该技术要求检索前对图像进行关键字标注，将其作为图像的特征，然后将描述目标图像所用的关键字与图像库中的标注信息进行匹配，返回检索结果。在标注无误的情况下，TBIR技术能获得较好的检索结果，当前世界上规模最大的两个搜索引擎百度和谷歌至今仍提供基于文本的图像检索功能。不难看出，这种方法的主观性强，同时人力和时间成本较高，难以完全描述图像丰富的视觉内容。

20世纪90年代，随着图像数据的爆炸增长，同时考虑到TBIR技术未利用图像的底层视觉特征，有学者提出基于内容的图像检索(Content-Based Image Retrieval, CBIR)，从而将图像检索带向一个新的研究层面。它通过设计算法提取图像的颜色、纹理、形状等视觉特征，为图像提供了较为客观的解释，系统再从图像数据库中检索出特征与之相似的图像，在一定程度上提高了图像检索的效率和精度。但人类认知基于图像的高层语义，这种方法对于高层语义的检索表现较差。

2012年，AlexNet网络结构模型在ImageNet上的图像分类挑战赛中获得冠军，一举奠定了深度学习在计算机视觉领域中的地位，此后VGG、GoogLeNet、ResNet等网络模型被相继提出。研究实验表明，利用卷积神经网络(Convolutional Neural Network, CNN)不仅能够更好地提取图像的底层特征，而且具有学习中高层图像特征的能力，可以突破“语义鸿沟”的障碍。性能优秀的CNN一般由多个卷积层拼接而成，总参数数量成千上万，尽管它被广泛运用于图像的特征提取，但面临存储消耗大、运算速度慢等缺点。