[发明专利]一种基于改进SIFT特征的高效图像检索方法

权利要求书

1.一种基于改进SIFT特征的高效图像检索方法，其特征在于：

S1：图片预处理

将待检索图像和图像库里的参考图像的尺寸调整为1024*800大小；并将它们均转换为灰度图像；

S2：高斯差分尺度空间的建立

分别为待检索图像和图像库里的参考图像建立高斯差分尺度空间；高斯差分尺度空间的建立的具体步骤如下：

1)输入图像依次与一系列尺度值递增的高斯函数，如公式(1)所示，进行卷积滤波运算，如公式(2)所示，对应生成一系列尺度递增的高斯图像，将其作为第一组高斯图像；

2)将第一组高斯图像中尺度为初始图像尺度2倍的图像，即第一组最上层的图像，按因子2做下采样处理，并将其作为下一组高斯图像的初始输入图像，然后按照步骤1)，生成后续其它组的高斯图像，最终建立高斯尺度空间；

3)依次将高斯尺度空间中同一层相邻的两幅高斯图像作差，即得到了高斯差分尺度空间；

D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ) (3)

S3：在尺度空间检测极值点作为特征点

分别提取待检索图像和图像库里的参考图像的高斯差分尺度空间内的局部极值点作为图像的特征点，记录这些特征点的位置和所在的尺度；在此基础上，采用Brown提出的三维二次函数拟合DOG空间的局部极值点，计算极值点插值后的位置，来精确定位极值点，并将修正后的新特征点带入尺度空间函数在原极值点处的二级泰勒展开式中，当得到的值的绝对值小于某一阈值时，则认为该极值点的对比度低，舍去该极值点；将大曲率的边缘点作为不稳定的边缘响应点筛选掉，其中主曲率可以通过一个2×2的Hessian矩阵求出；

S4：计算特征点的梯度方向及该方向上的梯度模值

利用特征点邻域像素的梯度分布特性，分别为待检索图像和图像库里的参考图像的每个特征点赋予一个方向即邻域梯度直方图的主方向，还为每个特征点赋予该方向上的梯度模值；特征点的方向和该方向上的梯度模值的计算步骤如下：

1)选取距离特征点的尺度最近的高斯图像L(x,y)，并选取以特征点为中心的邻域窗口，SIFT算法采用半径为3×1.5×σ的邻域窗口，然后计算该高斯图像上该邻域窗口内的每个像素点的梯度方向θ(x,y)和梯度模值m(x,y)；计算公式如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))(4)

2)利用上述求得的特征点的领域窗口内的所有像素点的梯度方向和梯度模值，构建特征点的邻域梯度直方图；该直方图横轴表示梯度方向，其范围为(0°,360°)，并被均匀地划分为36段；纵轴表示加权梯度模值m1(x,y)，加权是为了表征不同距离的点对特征点的贡献不同；其公式如下：

其中，σ为特征点的尺度，为尺度为的高斯函数；

3)在特征点的邻域梯度直方图中，找到最大的加权梯度模值所对应的方向，将其作为特征点的方向，并将该方向对应的加权梯度模值作为该方向上的梯度模值；另外，当存在另一个大于等于主峰值80％能量的峰值时，则该峰值对应的梯度方向被认为是特征点的辅方向；所以，一个特征点可能会被指定多个方向，即一个主方向，多个辅方向；相当于同一个位置有多个特征点，这些特征点的位置、尺度相同，只是方向和方向上梯度模值不同而已；

这样的做法，增强了特征点的匹配鲁棒性；

至此，图像中的每个特征点都有四个关键信息：位置、尺度、方向和方向梯度模值；

S5：利用地理统计方法生成图像特征点的全局特征向量

利用改进的地理统计方法来分别描述待检索图像和图像库里的参考图像的图像特征点的分布特征，并分别生成144维的特征向量来表示每幅图像；具体步骤如下：

1)特征点方向空间量化；特征点的方向变化范围从0到360，取值范围很广而且取值多样化，这不利于对特征点进行统计分析；

因此，将特征点的取值空间均匀量化为36段；量化公式为：

其中ori为原始方向值，Ori为量化后的方向值；

2)全局特征向量生成；利用改进的地理统计GeoStat方法来计算图像不同方向量化为36个方向特征点的直方图特征(o_i,m_i)和空间分布特征(Lo_i,Lm_i)；其中，o_i表示方向为i的特征点数目占图像中所有特征点数目的比例，m_i表示方向为i的特征点的方向梯度模值累加和占图像中所有特征点的方向梯度模值累加和的比例，Lo_i表示方向为i的特征点的几何分布特征，Lm_i表示方向为i的特征点的方向梯度模值的离散程度；具体公式如下：

其中，N为方向的量化级数，O_i是方向为i的特征点集，|O_i|为方向为i的特征点的数目，p(x,y)代表坐标为(x,y)的特征点，mag(x,y)代表坐标为(x,y)的特征点的方向梯度模值，Co_i＝(x_i,y_i)为方向为i的特征点集合的几何中心，d(p,Co_i)是每个特征点距其几何中心的欧氏距离，Cm_i为方向为i的特征点集中所有特征点方向梯度模值的均值，d(p,Cm_i)表示每个特征点的方向梯度模值距其均值的离散程度；

如上所述，每张图像都可以被一个36×4维的特征向量描述，记为：

(o₀,Lo₀,m₀,Lm₀,o₁,Lo₁,m₁,Lm₁,...,o_k,Lo_k,m_k,Lm_k,...,o₃₅,Lo₃₅,m₃₅,Lm₃₅)；

该向量对尺度变换、平移变换、光照变换等有很好的鲁棒性；

3)设置全局特征向量的主方向；如上所述，全局向量由36个方向的特征点的分布向量构成；为了确保该全局向量的旋转不变性；本方法将直方图特征o_i的最大值所在的方向定为36个方向的主方向；然后，将该方向上的直方图特征(o_i,m_i)和分布特征(Lo_i,Lm_i)循环左移到全局特征向量的开头位置；即，假设方向5为36个方向的主方向，则全局变量将被调整为：

(o₅,Lo₅,m₅,Lm₅,o₆,Lo₆,m₆,Lm₆,o₇,Lo₇,m₇,Lm₇,...,o₃₅,Lo₃₅,m₃₅,Lm₃₅,o₀,Lo₀,m₀,Lm₀,...,o₄,Lo₄,m₄,Lm₄)；此外，如果存在不小于主方向能量80％的方向，该方向则被定义为全局向量的辅方向；因此，一个全局向量可能会有不止一个主方向，相应地会被调整为不同的形式；全局向量的多个主方向增强了向量匹配的鲁棒性；

S6：全局特征向量相似性匹配完成粗检索

用上述步骤中求得的144维全局特征向量代表每张图像，待检索图像和图像库中8000张的参考图像，利用改进的相似性度量准则来计算待检索图像的144维全局特征向量和图像库中每张的参考图像的144维全局特征向量的距离来代表待检索图像与图像库中每张参考图像的相似性；图像Q和I的相似性公式描述如下：

其中，和衡量了两个图像特征点直方图特征的相似性；

和衡量了两个图像特征点离散分布特征的相似性；只有当直方图特征和离散分布特征均相似时，才能认为两张图像是相似的；d_o(Q,I)和d_m(Q,I)取值均从1到0，值越趋近于1，两张图像的相似度越高；为了更直观的描述两张图像的相似性，d_d(Q,I)被用来替代d_o(Q,I)和d_m(Q,I)；d_d(Q,I)的取值从0.476190趋向于无穷大，值越大，两张图像的相似度越低；

在此，将待检索图像的全局特征向量分别和图库中图像的全局特征向量进行相似性度量，并将图像按其相似度由高到低排序；将相似度排名靠前的占检索图库10％数量的图像即800张图像作为粗检索的结果，并将这些粗检索结果图像作为新的图片库，用于完成之后的精检索；

S7：生成特征描述子

分别为待检索图像和新的图片库中的800张图像中的每个特征点计算其相应的128维特征描述子；

对于图像中的每个特征点，先将坐标轴旋转为特征点的方向以确保特征描述子的旋转不变性，然后计算以特征点为中心的16×16窗口内所有像素点的梯度模值和梯度方向，并将该区域划分为4×4个子区域，每个子区域生成一个8方向的梯度直方图，一共可以生成16个这样的梯度直方图，合计为128维的特征向量；这样，每个关键点处就生成了一个128维的特征向量作为特征描述子；此时的SIFT特征描述子已经具有了尺度不变和旋转不变性，并且具有一定的抗噪声能力，再对其进行向量归一化，则可以具有光照不变性；

S8：特征描述子的匹配完成精检索

待检索图像与新的图片库中的800张图像分别组成800个图片对进行800次匹配；对于每个图像对，计算参考图像与待检索图像的特征点数目比值，如果这个比值小于设定阈值，实验过程中该阈值设定为0.5，则交换两个图像的身份即原来的待检索图像变为参考图像，原来的数据库中的参考图像变为待检索图像；否则，保持原来身份；然后利用BBF搜索匹配算法，将待检索图像中的特征点作为目标特征点，利用参考图像的特征点集建立k-d树用于搜索目标特征点的匹配点，最后统计两张图像间的匹配点数目，进而衡量两个图像的相似度；

这样，待检索图像与新的图片库中的所有参考图像完成特征点匹配，分别计算出待检索图像与新的图片库中的每个参考图像间的匹配点数目，并将该匹配点数目作为相似度衡量标准：两张图像间的匹配点数目越多，则认为这两张图像越相似；根据与待检索图像间的匹配点数目，将新的图片库中的参考图像由高到低排序，匹配点数越多排名越靠前；最后，将新的图片库中排名靠前的20张图像作为精检索结果，也是本方法的最终检索结果。