[发明专利]一种基于深度散列与多特征融合的增量图像检索方法

说明书

本发明公开了一种基于深度散列与多特征融合的增量图像检索方法，具体为：首先，将CIFAR‑10数据集和NUS‑WIDE数据集按比例划分出查询集图像、原始数据集和增量数据集；使用卷积神经网络VGG‑16将查询图像的每一层特征图像输出；将提取的特征图像从高维图像到低维逐层做双线性插值处理,并且将双线性插值处理过的特征图像逐层上采样得到融合的特征图像；将特征图像输入到五个普通卷积层，输出得到特征图像；之后学习新图像的散列码的同时保持旧图像散列码不变，通过保留训练点之间的相似性来学习查询集的深度散列函数。本发明实现了大规模中出现新的类别图像时不用再次训练模型，从而提高检索效率，节约时间成本。

技术领域

本发明属于图像处理方法技术领域，具体涉及一种基于深度散列 与多特征融合的增量图像检索方法。

背景技术

图像检索是一种视觉搜索任务，即是将给定的一张查询图像在一 个非常大的图像数据库中进行检索，进而得到在该数据库中所有与查 询图像具有相同实例对象的图像。图像检索技术目前已在多个领域有 广泛应用，例如在网络上进行反向传播搜索或者组织个人照片收集。 然而，随着计算机和人工智能等相关技术的高速发展及5G通信时代 的迅速推进，包括图像和视频在内的多媒体数据量每天都呈指数增长， 而最新的图像检索模型并不总是及时可用，一旦出现新的概念，就必 须对检索模型进行更新，从而导致模型训练的时间成本大大增加。因 此，提出一种能够直接提取新图像的特征信息同时不用再次训练旧图 像的增量图像检索方法是图像检索技术领域急需解决的问题。

在ILSVRC-2012比赛中，Krizheysky等人设计了一种深度卷积 神经网络模型AlexNet，该模型将图像分类错误率从26.2％降到15.3％， 远远领先于其他算法(Krizhevsky A,SutskeverI,Hinton G E.ImageNet classification with deepconvolutional neural networks[C]//International Conference on NeuralInformation Processing Systems.Lake Tahoe, Nevada,USA:NIPS Press.2012:1106-1114.)。这使得CNN(卷积神经 网络)在视觉图像领域得到极大的重视，使其一跃成为图像检索基础 模型的首选。随后Babenko等人利用大型卷积神经网络的顶层的激活 作为图像检索的描述符(Babenko A,Slesarev A,Chigorin A,et al. Neural codes for imageretrieval[C]//European conference on computer vision.Switzerland,Zurich:Springer Press,2014:584-599.)。该方法通 过对相似数据上的模型进行重新训练，然后提取神经代码作为描述符， 进一步提升了检索结果。曹等人提出了HashNet深度体系结构，通过 延续方法生成散列码，它学习非平滑的二进制激活，使用延续方法从 不平衡的相似性数据生成二进制散列码(CAO Zhangjie,Long Mingsheng,Wang Jianmin,etal.Hashnet:Deep learning to hash by continuation[C]//Proceedings of the IEEEinternational conference on computer vision.Venice,Italy:IEEE Press,2017:5608-5617.)。白等人 提出了一个深度渐进式哈希(DPH)模型，通过利用逐步扩展的显著区域生成一系列二进制码(BAI Jiale,NI B,WANG M,et al.Deep progressive hashing forimage retrieval[J].IEEE Transactions on Multimedia,2019,21(12):3178-3193.)。王等人提出了一种深度位置感 知哈希(DPAH)模型，它限制了数据样本与类中心之间的距离，以提 高图像检索中二进制散列码的识别能力(WANG Ruikui,Wang Ruiping,QiaoShishi,et al.Deep Position-Aware Hashing for Semantic Continuous Image Retrieval[C]//IEEE Winter Conference on Applications of Computer Vision.Snowmass,CO,USA:IEEE Press, 2020:2493-2502.)。