[发明专利]一种超像素级别的图像全局匹配方法

摘要

一种超像素级别的图像全局匹配方法，由双目立体摄像机获取经过极线矫正的输入图像对，通过为图像对的每个像素计算自适应十字架来得到当前像素的自适应窗，并为其计算匹配代价，结合一种替换策略处理遮掩区域和一种次优策略处理图像边界；为图像创建超像素，对每块超像素区域的视差值进行平面拟合，确定可靠像素，并删除明显的错误平面以确定初始视差平面集；根据已经得到像素匹配代价来计算超像素的匹配代价，构建数据项与平滑项，利用Graph-Cut最优化算法对能量方程进行不断迭代，获取最终视差平面。本发明能有效避免在弱纹理区域、视差不连续区域以及遮挡区域容易产生的图像噪声、失真或像素值异常等情况，且鲁棒性良好，能获取更加接近真实场景的深度信息。

主权项

一种超像素级别的图像全局匹配方法，其特征在于：所述匹配方法包括如下步骤：1)、利用标定板对双目摄像机进行标定并获取立体图像对；2)、过分割处理，将输入图像对分别分解成颜色或灰度均匀区域，并假定在这些区域中视差值平滑过渡，且视差不连续现象只出现在区域边界上；3)、为立体图像对中每个像素计算它的自适应十字架，四元组表示像素的左臂长、右臂长、上臂长和下臂长。以计算为例，对位于像素p左侧水平线上的一组连续的像素进行颜色相似度计算，p_i＝(x_p‑i,y_p)，表示像素p左侧水平线上第i个元素(i从1递增到L，L是预先设定的最大臂长，它负责控制像素p的最大匹配窗大小)；当$\underset{c\∈\{R,G,B\}}{\max }\left(\right|I_c\left(p\right)-I_c\left(p_i\right)\left|\right)>\mathrm{\τ}$时，i停止递增，令$h_p^{-}=i-1,$否则，令$h_p^{-}=L-1;$同理，可得到I_c表示对应颜色分量的强度值，τ为控制颜色相似性的置信度。根据已有的四元组为像素p计算得到它的H(p)和V(p)，H(p)表示像素p在它的水平线上的积分，V(p)表示像素p在它的垂直线上的积分；$\left\{\begin{array}{c}H\left(p\right)=\left\{(x,y)\right|x\∈[x_p-h_p^{-},x_p+h_p^{+}],y=y_p\}\\ V\left(p\right)=\left\{(x,y)\right|x=x_p,y\∈[y_p-v_p^{-},y_p+v_p^{+}]\}\end{array}\right.---\left(3.1\right)$H(p)和V(p)共同决定了像素p的自适应十字架；4)、根据自适应十字架为每个像素评估它的自适应匹配窗。根据已经计算得到的自适应十字架，为每个像素p构造一个自适应匹配窗口U(p)，构建匹配窗U(p)的关键步骤是沿着像素p的垂直分割块V(p)滑动，对多个水平分割块H(q)做一个区域积分操作：$U\left(p\right)=\underset{q\∈V\left(p\right)}{\∪}H\left(q\right)---\left(4\right)$其中，q是一个位于垂直分割块V(p)上的像素；5)、利用自适应匹配窗获取匹配代价分别计算左图像素p的自适应匹配窗U(p)以及右图像素p'的自适应匹配窗U'(p')，其中，左图中拥有视差d的像素p＝(x_p,y_p)在右图中找到对应像素p'＝(x_p‑d,y_p)，像素p和像素p'之间的匹配代价计算公式如下，$C_d\left(p\right)=\frac{1}{\left|\right|U_d\left(p\right)\left|\right|}*\underset{t\∈U_d\left(p\right)}{\mathrm{\Σ}}{e}_d\left(t\right)*(\log \mathrm{\θ}+1)---\left(5\right)$式中，U_d(p)＝{(x,y)|(x,y)∈U(p),(x‑d,y)∈U'(p')}，e_d(t)表示拥有视差d的像素t的未加工匹配代价，U_d(p)是仅包含有效像素的联合匹配窗；||U_d(p)||表示U_d(p)中像素的数量，它被用于规格化已聚类完成的匹配代价利用对应像素对，计算未加工匹配代价，当视差为d时，左图中t与右图中t′之间的匹配代价计算公式如下：$e_d\left(t\right)=\min \left(\underset{c\∈\{R,G,B\}}{\mathrm{\Σ}}\right|I_c\left(t\right)-I_c^{\′}\left(t^{\′}\right)|,T)---\left(5.2\right)$其中，T控制了匹配代价的截断上限，I_c(t)表示t像素对应颜色分量c的颜色值，I_c'(t')表示像素t′对应颜色分量c的颜色值；6)、通过处理遮挡区域和图像边界来优化匹配代价d(p)表示左图中像素p＝(x_p,y_p)的视差，同时d′(p′)表示右图中像素p'＝(x_p‑d(p),y_p)的视差，假如d(p)、d′(p′)和d(p″)同时满足条件d(p)＞d'(p')和d'(p')≤d(p″)，其中p″＝(x_p‑d(p)+d'(p'),y_p)，运用这样一个替换策略：用右图中像素p′的匹配代价替换原来左图中像素p的匹配代价；当(x_p‑d(p))＜1时，对应像素p′将位于右图的外侧，这就意味着我们不能利用对应像素来获取匹配代价C_d(p)，转而寻找一种次优的匹配代价C_d^(p)，$d^=\underset{d\∈[d_{\min },d_{\max }],(x_d-d)>0,d\≠d^{*}}{\arg \min }{C}_d\left(p\right)---\left(6.1\right)$其中，d^表示次优标记，d^*表示最优标记，它们的计算公式如下：$d^{*}=\underset{d\∈[d_{\min },d_{\max }],(x_d-d)>0}{\arg \min }{C}_d\left(p\right)---\left(6.2\right)$最后，当(x_p‑d(p))＜1时，用C_d^(p)表示像素p的匹配代价；7)、确定初始平面集，视差平面可以用三个参数a，b，c来表征，共同决定图中某个像素p(x,y)的视差d＝ax+by+c，采用三元组{a,b,c}来表示视差平面；8)、计算超像素的匹配代价根据得到的像素级别的匹配代价来计算超像素级别的匹配代价，像素级别匹配代价指的是像素p(x,y)当它取视差d时对应的匹配代价C_d(p)，而超像素级别匹配代价指的是超像素S取视差平面P{a,b,c}时所得到的匹配代价C_s(P)；先对每块超像素做一个可靠性判断，如果通过它拟合出来的视差平面是错误的，那么就认定这块超像素是不可靠的；反之，则认为它是可靠的，当超像素是可靠时，它的匹配代价计算公式如下：$C_s\left(P\right)=\underset{p\∈S-O}{\mathrm{\Σ}}{C}_{\mathrm{ax}+\mathrm{by}+c}\left(p\right)---\left(8.1\right)$其中O表示超像素S中被遮挡像素的集合，当超像素是不可靠时，它的匹配代价计算公式如下：$C_s\left(P\right)=\underset{p\∈S-O+U}{\mathrm{\Σ}}{C}_{\mathrm{ax}+\mathrm{by}+c}\left(p\right)---\left(8.2\right)$其中U表示经过修复的像素集合；9)、构造数据项有了超像素的匹配代价后，就能找到一个唯一标签f，给每块超像素S∈R一个对应的视差平面f(S)∈D，R是指输入图像的超像素集合，D表示视差平面集合，数据项E_data(f)是一个可靠像素匹配代价的集合，它的构造公式如下：$E_{\mathrm{data}}\left(f\right)=\underset{S\∈R}{\mathrm{\Σ}}{C}_S\left(f\left(S\right)\right)---\left(9\right)$10)、构造平滑项用超像素内的所有像素颜色信息的平均值来表征这块超像素的颜色信息，平滑项E_smooth(f)的构造公式如下：$E_{\mathrm{smooth}}\left(f\right)=\underset{\∀(S_i,S_j)\∈S_N|f\left(S_i\right)\≠f\left(S_j\right)}{\mathrm{\Σ}}\mathrm{ColorD}(S_i,S_j)*\mathrm{PlaneD}(S_i,S_j)*\mathrm{CommonB}(S_i,S_j)---\left(10\right)$其中，S_N表示输入图内所有相邻超像素的集合，ColorD(S_i,S_j)表示相邻超像素间的颜色差异，即求相邻超像素在RGB颜色空间上的欧式距离；PlaneD(S_i,S_j)表示相邻超像素间的视差平面差异，即求{a,b,c}平面空间上的欧式距离；CommonD(S_i,S_j)表示相邻超像素间共同边界的长度；11)、利用Graph‑Cut最优化算法对能量方程进行能量最小化，能量方程包含数据项和平滑项，获得最终视差信息。