[发明专利]一种基于上下文深度语义信息的图像检索方法

权利要求书

1.一种基于上下文深度语义信息的图像检索方法，其特征在于，所述方法包括如下步骤：

(1)对输入的全天空极光图像数据库，利用自适应极化栅栏法确定全天空极光图像的k个关键点；

(2)预先对卷积神经网络进行预训练和微调，再构建区域分析层、迭代量化层，将所述卷积神经网络升级为极化卷积神经网络，所述极化卷积神经网络包括五个卷积层、一个全连接层、一个区域分析层、一个迭代量化层；

(3)对输入的所述全天空极光图像数据库中的每幅图像，分别以k个关键点为中心，确定大小为r_s×r_s的k个小尺度区域和大小为r_l×r_l的k个大尺度区域，并分别将k个小尺度区域和k个大尺度区域映射到每个卷积层输出的特征图上；

(4)所述区域分析层分别对五个卷积层输出的特征图及特征图上的小尺度区域和大尺度区域进行最大池化操作，分别得到五个特征向量，分别级联五个特征向量及全连接层输出的特征向量，得到每个关键点的全局CNN特征f^cnn-g、小尺度区域CNN特征大尺度区域CNN特征

(5)所述迭代量化层对输入的每个关键点的小尺度区域CNN特征大尺度区域CNN特征全局CNN特征f^cnn-g进行二值化处理，并级联二值化后的小尺度区域CNN特征二值化后的大尺度区域CNN特征二值化后的全局CNN特征f^b-cnn-g，得到每个关键点的上下文深度语义特征

(6)将每个关键点的上下文深度语义特征存入倒排索引表，完成线下索引；

(7)对于输入的一幅查询图像Q，提取该查询图像的每个关键点的上下文深度语义特征然后计算其与线下索引保存的每个关键点的上下文深度语义特征f^d＝[f^b-cnn-rs,f^b-cnn-rl,f^b-cnn-g]的匹配函数；

(8)计算所述查询图像Q与所述全天空极光图像数据库中每幅图像的相似度；

(9)按照相似度取值从高到低的顺序对所述全天空极光图像数据库中图像进行排序，相似度取值最高的图像被认为是与查询图像最相似，输出排序结果完成线上查询。

2.根据权利要求1所述的一种基于上下文深度语义信息的图像检索方法，其特征在于，所述步骤(1)中利用自适应极化栅栏法确定全天空极光图像的k个关键点，包括如下步骤：

(1a)设定自适应极化栅栏法的参数，所述参数至少包括：参考径向间隔Δρ、参考角度间隔Δθ、控制径向坐标分布的参数v和控制角度坐标分布的正参数w；

(1b)确定关键点的离散的径向坐标ρ(i)和角度坐标θ(j)：

其中，C为全天空极光图像的半径长度；ρ(i)为径向坐标，ρ(0)为径向坐标的初始值，i为径向指数，其取值为从1到G的有序整数，G为径向指数取值的最大值，径向坐标ρ(i)需要小于图像的半径长度C；v为控制径向坐标分布的参数，i^vΔρ为径向间隔，当v为0时，径向间隔i^vΔρ相同；当v取正值时，随着i的增大，径向间隔i^vΔρ越大；当v取负值时，随着i的增大，径向间隔i^vΔρ越小；θ(j)为角度坐标θ(j)，θ(0)为角度坐标的初始值，j为角度指数，其取值为从1到H的有序整数，H为角度指数取值的最大值，角度坐标θ(j)需要小于2π；w为控制角度坐标分布的正参数，Δθ/i^w为角度间隔，当w为0时，角度间隔Δθ/i^w相同；当w为1时，角度间隔Δθ/i^w反比于径向指数i；当w大于1时，随着i的增大，角度间隔Δθ/i^w越小；当w小于1时，随着i的增大，角度间隔Δθ/i^w越大；

(1c)使用极化坐标系确定图像关键点的位置：

其中，x(i,j)为关键点的横坐标，y(i,j)为关键点的纵坐标，每幅全天空极光图像共得到k个关键点。