[发明专利]基于特征和区域匹配相结合的深度信息获取方法

权利要求书

1.一种基于特征和区域匹配相结合的深度信息获取方法，其特征在于：利用SIFT特征点匹配方法和区域匹配方法结合，利用较少的时间来获取准确的稠密深度图，该方法其具体步骤如下：

(1)匹配图像特征点的提取：

在匹配的图像对上提取SIFT(scale invariant feature transform)特征，形成特征向量进，并对特征点进行标记，SIFT特征点的提取需要对相邻尺度的高斯图像相减得到高斯差分多尺度空间；在高斯差分多尺度空间中求得局部极值点；

其具体步骤如下：

1)检测尺度空间极值：图像的尺度空间定义为一个函数L(x,y,σ)，由可变尺度高斯函数G(x,y,σ)与输入图像I(x,y)卷积得到：

I(x,y,σ)＝I(x,y)×G(x,y,σ)    (1)，

其中，

G(x,y,σ)=12πσ2e-(x2+y2)/2σ2---(2);]]>

高斯差分尺度空间D(x,y,σ)为存在常数乘性尺度因子k的相邻尺度高斯函数的差分与原图像卷积；D(x,y,σ)可以表示为：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×I(x,y)=L(x,y,kσ)-L(x,y,σ)---(3);]]>

2)精确定位特征点：首先获取候选特征点处的拟合函数：

D(X)=D+∂DT∂XX+12XT∂2D∂X2XX=(x,y,σ)---(4);]]>

求导得到极值点与对应极值，并且不断修正X求出局部最优点；

3)利用特征点邻域像素的梯度方向分布特征，为每个特征点指定方向参数，(x,y)处的方向和梯度值分别为：

θ(x,y)＝

arctan[L(x,y+1)-L(x,y-1)/L(x+1,y)-L(x-1,y)]   (5)；

m(x,y)=(L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2---(6);]]>

一个特征点用16个种子点描述，而每个种子点有8个方向向量信息，因此，每一个特征点产生128个数据，形成一个128维的描述向量；

(2)SIFT特征点的匹配：

对左、右两幅图像分别得到SIFT特征向量后，计算两幅图像的每个特征点在待匹配图像的特征点中的最相似匹配，这里最相似定义为特征向量间的最小欧式距离；

(3)区域匹配：

在特征匹配结果的约束下，确定非特征点的所在分块，利用视差梯度估计搜索范围，并进行匹配。

2.根据权利要求1所述的基于特征和区域匹配相结合的深度信息获取方法，其特征在于：步骤(3)中区域匹配其具体步骤如下：

1)匹配分块的确定：在左图像上选择一点P(x,y)，以该点为中心形成n×n的匹配模板；然后，搜索该模板中是否存在特征点，如存在则在右图像中对应的特征点作为搜索范围；如不存在，则利用视差梯度来推算出搜索范围d，在右图像中同一极线上的点P(x+i,y),i∈[1,d]计算相度，其中相似度最好的点就认为是P(x,y)的匹配点；

2)视差梯度约束及收索范围的估计：所涉及到的匹配图像是经过校准的，只存在水平视差，则有y^l＝y^r，在场景中的两个点P₁和P₂在左右图像上的投影p₁^l、p₁^r和p₂^l、p₂^r，则它们的视差梯度的定义如式所示：

δd=2((x2l-x2r)-(x1l-xlr))||(p2l-p1l)+(p2r-p1r)||---(7);]]>

设p₁^c＝(p₁^r+p₁^l)/2、p₂^c＝(p₂^r+p₂^l)/2以及d₁＝x₁^l-x₁^r、d₂＝x₂^l-x₂^r公式(7)可以转换为：

δd=d2-d1||(p1c-p2c)||---(8);]]>

考虑外极线约束假设左右图像都经过极线校正，对应的收索范围应该同极线位于同一位置和方向上；同时，以左图像为基准按顺序逐点匹配，则有：y_l＝y_r，x_l-x_r＝1；于是视差梯度变为：

d2=2+δd2-δd+d1-1---(9);]]>

下一个点在左图像中的搜索范围可以通过前一个点在右图像的位置、视差及视差梯度预测到；根据前面的推导，视差梯度绝对值在1.5与2之间是灰度变化剧烈的边缘区域，反映出的灰度信息变化较大，则选用4×4的模板进行匹配；视差梯度绝对值小于1.5时是图像的平滑区域，灰度信息较为相似，则需要较大的模板，选用16×16的模板进行匹配；

3)区域匹配的相似性函数：以检查点为中心形成匹配模板，如果左图像的长度为M，右图像的长度为N的线段；设左右匹配模板中第i行、第j列像素的灰度分别为I_L(i,j)和I_R(i,j)，则匹配的代价函数C为：

C=σLR2σR2+σL2---(10);]]>

其中和分别是左、右模板中的灰度方差；

σL2=Σj=1m[IL(i,j)-μL]2m---(11);]]>

σR2=Σj=1n[IR(i,j)-μR]2m---(12);]]>

其中μ_L和μ_R是左右匹配模板中的灰度均值，是I_L(i,j)和I_R(i,j)的协方差，表示为：

σLR2=Σj=1k{[IR(i,j)-μR][IL(i,j)-μL]}k(k=max(m,n))---(13);]]>

C越大说明左右图像中的对应点的相似性越差。