[发明专利]一种基于深度特征与底层特征融合的图像检索方法

说明书

本发明公开了一种基于深度特征与底层特征融合的图像检索方法，将深度神经网络ResNeXt101的Conv_4、Conv_5两个卷积层提取到的特征分别进行特征通过concat融合方式进行融合。然后将提取到的底层SIFT特征和融合后的深度特征进行融合。使用三元组损失训练出最优模型，在人脸数据集上对算法进行测试，使用平均检索精度(mAP)评估算法性能。将深度特征图的重要部分通过ROI感兴趣区域方法提取出来，通过赋予不同权重，使得深度特征的表达能力更好。且不同卷积层的融合也使得特征表达能力更加全面。与现有图像检索方法相比，通过ROI、两次特征的融合，提取到的特征更加精确，加入三元组损失训练模型也使得模型检索精度更加准确。

技术领域

本发明涉及图像检索方法技术领域，具体为一种基于深度特征与底层特征融合的图像检索方法。

背景技术

随着科技的进步，互联网的快速发展，当今社会已成为了信息时代，微信、QQ、微博等社交软件的流行使得图片等多媒体信息呈现出爆炸性增长的趋势。海量图像数据为用户提供了更好的交互体验，但同时也使得人们检索、获取目标信息的需求变得愈发困难，在海量图像数据中快速精准检索出用户需要的目标图像已成为图像检索领域的一个研究热点。

图像检索是根据用户需求，在图像数据库中找到满足需求的图像。目前图像检索主要有基于文本的图像检索(text-based image retrieval,TBIR)和基于内容的图像检索(content-based image retrieval,CBIR)。

基于文本的图像检索是最早的图像检索方式，诞生于上世纪70年代，该方法是对图像进行手工标注，为图像选定关键词，检索系统将用户输入的查询关键词与图像关键词进行匹配，匹配度高的图像作为检索结果。基于内容的图像检索不受图像标注的限制，而是利用图像的视觉信息来表达图像，不依赖人们对图像的主观理解。图片的纹理、颜色、形状等底层特征都可以提取，对图片的表达更加精确和全面，提高了图像检索的效率和准确性。

随着计算机硬件的发展，深度学习技术得到了迅速发展，通过构建多层网络，提取图像的高层语义信息，较好地解决了“语义鸿沟”的问题，在计算机视觉方向获得了很好的效果。卷积神经网络是深度学习的基础，它是一种带有卷积结构的深层神经网络，通过池化，卷积等操作输出特征向量，它具有良好的泛化性和强大的自学习能力。从此开始，图像检索的重点研究转移到卷积神经网络的应用上。

在图像检索中，图像特征提取是最为关键的步骤之一。但是物体外观、角度、比例变化，部分被遮挡，背景变化及成像条件等因素的影响使得精确的图像检索具有挑战性。此外，由于海量多媒体数据，当今的系统必须满足可以扩展到数十亿张图像。为了克服这些挑战，图像检索需要紧凑且鲁棒性极好的图像特征。但是不管是底层特征还是高层语义特征，对图像的表达都不够全面，不能充分的体现图像之间内容的差异，图像检索效果通常不尽人意。特征融合可以改善这一现状。特征融合的目的是将多种不同的特征压缩进同一个特征向量中，形成的融合特征可以从多个角度衡量图像，具有更好的表述力。如何多方面多角度将底层、深度特征进行融合获得鲁棒性更好的融合特征成为了一个值得研究的方向。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于深度特征与底层特征融合的图像检索方法。解决了现有技术中图像特征提取不够精确导致检索精度下降的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种基于深度特征与底层特征融合的图像检索方法，将深度神经网络ResNeXt101的Conv_4、Conv_5两个卷积层提取的特征分别进行归一化、自适应加权、求和池化，将两层特征通过concat融合方式进行融合，得到融合后的深度特征；然后提取底层SIFT特征，将提取到的底层SIFT特征和深度特征进行融合；使用三元组损失训练出最优模型，在人脸数据集上对算法进行测试，使用平均检索精度(mAP)评估算法性能，具体包括以下步骤：