[发明专利]基于视差图像素分类校正优化的立体匹配方法

摘要

本发明涉及立体视觉技术领域，具体为一种立体匹配方法，解决现有立体匹配方法存在视差校正优化不够精确的问题。一种基于视差图像素分类校正优化的立体匹配方法，包括如下步骤：（Ⅰ）以左、右视图为参考，基于灰度差和梯度相结合的方法来进行代价聚合，得到左、右视差图，并经过左右一致性检测生成初始可靠视差图；（Ⅱ）进行相关置信度检测和弱纹理区域检测，将像素分类为稳定匹配像素点、不稳定匹配像素点、闭塞区域像素点、弱纹理区域像素点；（Ⅲ）对不稳定匹配点采用基于改进的自适应权重算法进行校正，对闭塞区域点和弱纹理区域点采用误匹配像素校正方法进行校正；（Ⅳ）将校正完的视差图再通过基于分割的算法进行优化，得到稠密视差图。

主权项

1.一种基于视差图像素分类校正优化的立体匹配方法，其特征在于：包括如下步骤：（Ⅰ）、进行初始视差值的估计：分别以左、右视图为参考图，使用基于灰度差和梯度相结合的方法进行匹配代价的聚合，得出左、右视差图，再经过左右一致性检测剔除误匹配点，得到初始可靠视差图；具体如下：分别以左、右视图为参考图，使用基于灰度差和梯度相结合的方法进行匹配代价的聚合，并依据场景调节它们的权重，具体如式（1）：C(x,y,d)=ω₁*C_SAD(x,y,d)+ω₂*C_GRAD(x,y,d)，    （1）其中：CSAD(x,y,d)=Σ(i,j)∈N(x,y)|I1(i,j)-I2(i+d,j)|,---(2)]]>CGRAD(x,y,d)=Σ(i,j)∈Nx(x,y)|▿xI1(i,j)-▿xI2(i+d,j)|+Σ(i,j)∈Ny(x,y)|▿yI1(i,j)-▿yI2(i+d,j)|,---(3)]]>在式（2）和式（3）中，C(x,y,d)为聚合代价，C_SAD(x,y,d)为灰度差聚合项，C_GRAD(x,y,d)为基于梯度聚合项，ω₁和ω₂为权重，依据场景特征设置；d为初始设置的视差值，d∈[d_min,d_max]；N(x,y)表示像素点(x,y)的聚合窗，I₁(i,j)为参考图(x,y)的灰度值，I₂(i,j)为目标图(x,y)的灰度值，和分别表示在此点指向右和底部的梯度值，Nx(x,y)和Ny(x,y)为它们的区间；依据匹配代价计算方式，在d∈[d_min,d_max]范围内进行聚合代价的计算，采用胜者为王策略评价结果，通过式（4）得到点(x,y)处视差值，d(x,y)=argmind∈[dmin,dmax](C(x,y,d)),---(4);]]>由此分别得到左、右视差图d₁₂(x,y)、d₂₁(x,y)；对得到的左、右视差图d₁₂(x,y)、d₂₁(x,y)采用左右一致性检测，如式（5），|d₁₂(x,y)-d₂₁(x+d₁₂(x,y),y)|<T（T取值为1），   （5）；对于左视差图的每一个像素点，如果满足上式，则说明满足左右一致性检测，否则设置此点的视差值为0；经过交叉验证检测后，得到了初始可靠视差图；（Ⅱ）、进行匹配像素的分类：对得到的初始可靠视差图中满足交叉验证的像素点进行相关置信度检测，得到视差值稳定匹配像素点和视差值不稳定匹配像素点；对初始可靠视差图中不满足交叉验证的像素点进行弱纹理区域检测，得到闭塞区域像素点和弱纹理区域像素点；具体如下：相关置信度检测：假设像素点的最优视差的匹配代价为次最优视差的匹配代价为则相关置信度定义为式（6）：TCC=|CL1-CL2CL1|,---(6)]]>设α_s为阈值；如果T_CC>α_s，则认为此匹配点是稳定匹配像素点，视差值稳定可靠；否则被认为是不稳定匹配像素点，它的视差值也被认为是不稳定的；弱纹理区域检测：首先使用均值漂移进行图像分割，得到不同区域的图像，并取区域的像素点数N_s，然后采用式（7）检测：F(Rs)=Var(Rgrayscale)Var(Rdisparity)+δ,---(7)]]>其中R_s是第s个分割区域，Var(R_grayscale)表示灰度方差，Var(R_disparity)表示视差值方差，δ是调节参数，设置为0.01；根据式（7），计算每个区域的F值和点数N_s，并设置阈值F_T和N_t，F小于F_T且N_s大于N_t时，该区域为弱纹理区域；对于不满足左右一致性检测的匹配点，如果其位于弱纹理区域，就认为是由弱纹理特性引起的误匹配，分类为弱纹理区域像素点；其它则认为是由于闭塞遮挡引起的，分类为闭塞区域像素点；经过上述相关置信度检测和弱纹理区域检测后，将初始可靠视差图的像素分为稳定匹配像素点、不稳定匹配像素点、闭塞区域像素点、弱纹理区域像素点；（Ⅲ）、对分类后的像素分别进行校正：对于视差值需要校正的像素点，搜索其周围可靠视差值，形成可能视差值集v_p，不稳定视差的像素点通过改进的自适应权重算法进行校正；闭塞区域和弱纹理区域造成的误匹配像素点，采用其周围可靠视差值传播的方法进行校正；具体如式（8）对于初始可靠视差图中误匹配的像素点，如果像素p的错误视差是由闭塞遮挡引起的，即是闭塞区域像素，算法采用集合v_p中次最小的视差值seclow来代替；如果像素p的错误视差是由弱纹理特性引起的，采用集合v_p的中值median来代替它的视差值；对于初始可靠视差图中视差值不稳定匹配像素点，采用改进的自适应权重算法ASW，像素q对像素p的支持权重只依据像素间的颜色差别，如式（9）：w(p,q)=k*exp(-Δc_pq/r_s)，    （9）Δc_pq=||I(p)-I(q)||₂，   （10）其中式r_s是核大小，表示颜色带宽；式（10）中||·||₂是二阶范式，I(·)是灰度值；则自适应权重的代价聚合为式（11）：CASW(p,pd′)=Σq∈NSs(p),qd′∈NSS(Pd′)w(p,q)·w(pd′,qd′)·|I(q)-I(qd′)|Σq∈NSs(p),qd′∈NSS(Pd′)w(p,q)·(pd′,qd′),d∈vp---(11)]]>其中可能视差值d只在v_p中搜寻，即d∈v_p；和是视差为d时，左、右视图对应的像素点；NS_s(p)和分别为p和的邻域；然后进行胜者为王策略选取最优视差值，完成校正过程；（Ⅳ）、对校正后的视差图进行优化：采用基于图像分割的算法进行视差值的优化，剔除奇异值，得到分段平滑的最终视差图；具体如下：采用基于均值漂移分割的优化算法，在得到分割区域R_s后，对分割区域内视差值进行优化，把每个区域当作一个前置的窗口，使用胜者为王策略，计算它们的平均视差值d'，于是对每一个像素(x,y)∈R_s，如果|d(x,y)-d'|<th，那么这个像素的视差值不变；否则，该像素就被优化为该区域的中值；其中th为阈值；经过上述优化后即得到分段平滑的最终视差图。