[发明专利]一种基于上下文深度语义信息的图像检索方法

说明书

本发明公开的一种基于上下文深度语义信息的图像检索方法，主要解决现有图像检索方法由于缺乏上下文环境信息而造成的准确率低的问题。实现步骤为：①使用自适应极化栅栏法确定图像关键点；②对卷积神经网络进行预训练和微调，构建包含区域分析层、迭代量化层的极化卷积神经网络；③提取关键点的上下文深度语义特征，并将其存入索引表，完成线下索引；④计算查询图像与数据库中每幅图像的相似度；⑤根据相似度从高到低的顺序输出检索结果。本发明使用上下文深度语义特征实现了图像关键点从区域到全局环境的匹配，提出的自适应极化栅栏法和构建的区域分析层符合全天空极光图像的成像特点，检索准确率高，可用于鱼眼镜头成像的大规模图像的精确检索。

技术领域

本发明属于图像处理技术领域，涉及深度学习算法和图像检索技术，可用于大规模极光图像的精确检索。

背景技术

太阳风携带的高能带电粒子高速撞击地球磁场，沿着“漏斗”状的地磁力线沉降进入南北两极地区，激发电离层中大气粒子后产生的自然发光现象就是极光。为了深入研究极光现象，各国科学家们通过地面观测站和太空遥感卫星等平台采集了海量极光图像数据。然而，受天气变化和云雾干扰等影响，爆炸式增加的极光图像数据中包含了大量无效数据。为了在不受无效数据干扰的前提下研究某种特定日地空间事件，科学家们需要从海量数据中挑选出感兴趣的极光图像数据，即大规模极光图像检索。现实中，依靠科学家们肉眼筛选和分类的人工检索方式容易出现由视觉疲劳引起的主观误差，其检索速度也难以满足海量数据的处理需求。因此，建立自动的图像检索系统，实现大规模极光图像中有效数据的筛选和关键数据的分析，可以帮助空间物理学家在有限时间内获取太阳风与地球磁场活动的大量信息，为日地空间安全提供可靠的技术保障。

为了实现自动的极光图像检索，图像处理和模式识别技术被广泛使用。例如，Sivic等人在文献“J.Sivic and A.Zisserman,Video google:A text retrievalapproach to object matching in videos,in Proc.IEEE Int.Conf.Comput.Vis.,2003,pp.1470-1477.”中提出的词袋模型法(Bag of Features,BoF)，该方法将局部特征进行聚类生成语义词典，利用倒排索引实现图像检索；Jeguo等人在文献“H.Jegou,M.Douze,andC.Schmid,Hamming embedding and weak geometric consistency for large scaleimage search,in Proc.Eur.Conf.Comput.Vis.,2008,pp.304-317.”中提出的汉明嵌入法(Hamming Embedding,HE)，该方法将局部特征之间的汉明距离存入索引表，提高了图像检索的精度；Jeguo等人在文献“H.Jegou,M.Douze,C.Schmid,and P.Perez,Aggregatinglocal descriptors into a compact image representation,in Proc.IEEEConf.Comput.Vis.Pattern Recognit.,2010,pp.3304-3311.”中提出的局部特征聚合向量法(Vector of Locally Aggregated Descriptors,VLAD)，该方法将局部特征聚合并降维生成全局特征，提高了图像检索的效率；Yang等人在文献“X.Yang,X.Gao,Q.Tian,Polarembedding for aurora image retrieval,IEEE Trans.Image Process.24(11)(2015)3332-3344.”中提出的极向嵌入法(Polar Embedding,PE)，该方法结合极光图像成像特点，利用极化栅格对图像关键点进行不均匀采样，通过提取每个关键点的尺度不变特征(Scale-Invariant Feature Transform,SIFT)和局部二值模式特征(Local BinaryPatterns,LBP)，实现了极光图像的实时检索。