[发明专利]一种基于弱边缘与纹理分类的立体视觉匹配方法

摘要

一种基于弱边缘与纹理分类的立体视觉匹配方法，解决实现快速精确的致密匹配的技术问题，该方法的步骤包括：边缘与弱纹理区域划分、边缘、弱纹理区域匹配、视差修正与填充、深度边缘视差求精和致密视差图。本发明公开的MADC匹配代价，按区域的不同特性分别进行匹配，并根据匹配结果相互进行视差修正或填充，然后，针对遮挡和视差不连续区域进行视差求精，获得完整致密的视差图。本发明的有益效果是，该方法不需全局优化，降低了算法运算量，同时其视差连续性约束与区域类型相适应，避免了现有技术中采用的一般局部优化与连续性约束的矛盾。该方法具有通用性强，可广泛应用于各种双目视觉、多视角3D成像算法。

主权项

一种基于弱边缘与纹理分类的立体视觉匹配方法，该方法根据右图像中边缘的分布将图像分为边缘扩展区域和弱纹理区域，使用MADC匹配代价，按区域的不同特性分别进行匹配，并根据匹配结果相互进行视差修正或填充及对遮挡和视差不连续区域进行视差求精，获得完整致密的视差图，其特征在于：该方法采用以下步骤实现：步骤1.边缘检测和区域划分令S_i(i＝R,G,B)为各彩色分量经Canny边缘检测得到的边缘点集，则彩色图像的边缘点集S_edge表示为：S_edge＝S_R∪S_G∪S_B  (1)弱纹理区域为像素彩色值平滑的区域，定义8邻域内不存在边缘点的像素点集S_T：其中NE(P)代表图像中P点的8领域像素点集合边缘及其相邻像素区域组成边缘扩展区域S_expend，表示弱纹理区域补集：S_expend＝S‑S_T  (3)其中S为图像所有像素点的集合；步骤2.边缘匹配A.求得左图像的边缘点初始视差估值：估计边缘点集S_edge的视差，边缘点匹配代价聚合选用较小的矩形窗口作为支持区域，聚合后的匹配代价表示为：$C_{agg}(P,d)=\frac{1}{m\&CenterDot;n}\underset{P^{\&prime;}\&Element;AGG\left(P\right)}{\&Sigma;}C(P^{\&prime;},d)---\left(4\right)$其中AGG(P)表示以P为中心的矩形代价聚合支撑区域，区域大小为m×n，取m×n＝5×5窗口，匹配代价采用MADC；将边缘点的匹配点搜索区域限定为右图中处于同一行的边缘扩展区域进行代价聚合后使用WTA策略选取最小聚合代价的视差值作为边缘点的初始视差估计，如式(5)所示。$d_0\left(P\right)=\arg \underset{P-d\&Element;S_{\exp end}^r}{min}\left(C_{agg}\right(P,d\left)\right)---\left(5\right)$B.左右图像一致的重复性检验：重复性检验根据A获得的视差值，计算左图中各点在右图中的对应点，如果左图中多个点与右图中同一点对应，取其中匹配代价最低的点作为正确匹配，其它点标记为错误匹配点；C.稳定边缘视差检验稳定边缘视差检验按照边缘视差的分布特性和统计特性判断边缘视差是否稳定，视差稳定的边缘必有相同视差的邻域边缘，且边缘视差图像内某一视差的边缘点数量达到一定阈值，步骤如下：⑴：对应经过简化的左右一致性检验的边缘视差图，检验每个边缘点8邻域内的边缘点视差值，若8邻域内的边缘视差值唯一，则认为该边缘点视差初步稳定，否则不稳定，所有初步稳定的边缘点构成集合⑵：对于初步稳定边缘点的对应视差值D_Inital，统计对应每个视差值d的边缘点个数h(d)，舍弃边缘点个数未超过阈值TD_h的视差值，剩下的视差值构成稳定视差值集合D_stable，如式(6)；D_stable＝{d|h(d)>TD_h,d∈D_Inital}  (6)⑶：根据稳定视差值集合D_stable对初步稳定边缘点进行检测，舍弃视差值不包含在稳定视差值集合内的边缘点，获得稳定边缘点集合如式(7)；$S_{edge}^{stable}=\left\{P\right|P\&Element;S_{edge}^{Inital},d\left(P\right)\&Element;D_{stable}\}$步骤3.弱纹理区域匹配A.弱纹理线段匹配利用线段内的视差连续性约束算法，设同一线段中的像素点具有相同的视差值，进行最优视差值的搜索，令SEG表示一条弱纹理线段，根据弱纹理线段的长度length(SEG)，分别进行匹配代价的聚合：取T_length＝5，当length(SEG)≥T_length，其匹配代价的聚合表示为整条线段的MADC匹配代价的平均，如式(8)。$C_{long}(SEG,d)=\frac{1}{length\left(SEG\right)}\underset{P\&Element;SEG}{\&Sigma;}C(P,d)---\left(8\right)$当length(SEG)＜T_length，其匹配代价的聚合如式(9)所示。$C_{short}(SEG,d)=\frac{1}{(a+length(SEG)-1)\&CenterDot;b}\underset{P\&Element;dilate\left(SEG\right)}{\&Sigma;}C(P,d)---\left(9\right)$其中dilate(SEG)表示以a×b的矩形算子对线段进行膨胀操作得到的矩形区域，算法中取5×5的膨胀算子；进行最优视差值的搜索，其视差搜索范围限定为：步骤2边缘匹配中，C.稳定边缘视差检验的⑵所得到的稳定视差值集合D_stable，使用WTA策略选取最小聚合代价的视差值，如式(10)所示：$d_0\left(SEG\right)=\arg \underset{d\&Element;D_{stable}}{min}\left(C_{long/short}\right(SEG,d\left)\right)---\left(10\right)$匹配代价聚合时，线段内每一像素点的视差值都取SEG的视差值；B.弱纹理线段视差修正弱纹理区域被边缘所包围，其视差与边缘视差有着密切关系，可根据弱纹理线段两端的边缘视差及线段本身视差，对线段视差值进行修正，以实现倾斜表面的视差估计；令弱纹理线段经匹配得到的视差估计值为d₀，其真实视差为d_seg，弱纹理线段两端对应的边缘视差分别为d_e1和d_e2，进行视差修正时，将遵循以下关系：①d_seg≤max(d_e1,d_e2)，如果弱纹理区域视差值大于较大的边缘视差，则由于遮挡将产生与弱纹理区域视差相等的新的深度边缘，从而发生矛盾；②d_seg<min(d_e1,d_e2)，弱纹理区域视差与边缘视差无关。当弱纹理区域视差值小于较小边缘视差时，边缘视差值取决于相邻较高表面的视差，而不受当前区域视差值影响；③当弱纹理区域为斜面时，弱纹理线段至少有一端视差与相应边缘视差相近，且d₀可视为线段中点的视差；C.代价聚合与惩罚因子视差分布假设：根据边缘视差和弱纹理线段视差的估计值，以及弱纹理区域表面呈正向平行或倾斜情况假设，弱纹理线段视差分布存在以下6种可能：正向平行表面：线段视差取线段某一端点处视差(d_e1、d_e2)及中点处视差(d₀)：$\begin{array}{ccc}\&lt;1\&gt;\underset{P\&Element;SEG}{{}^{1}d\left(P\right)}=d_0;& \&lt;2\&gt;\underset{P\&Element;SEG}{{}^{2}d\left(P\right)}=d_{e1};& \&lt;3\&gt;\underset{P\&Element;SEG}{{}^{3}d\left(P\right)}=d_{e2}\end{array}$倾斜表面：线段视差分布线性变化，按已知两端点及中点的三点，其中两点视差估计线段的线性视差分布：$\&lt;4\&gt;\underset{P\&Element;SEG}{{}^{4}d\left(P\right)}=\frac{d_{e2}-d_{e1}}{P_{e2}-P_{e1}}(P-P_{e1})+d_{e1}=\frac{P_{e2}-P}{P_{e2}-P_{e1}}{d}_{e1}+\frac{P-P_{e1}}{P_{e2}-P_{e1}}{d}_{e2};$$\&lt;5\&gt;\underset{P\&Element;SEG}{{}^{5}d\left(P\right)}=\frac{d_0-d_{e1}}{(P_{e1}+P_{e2})/2-P_{e1}}(P-P_{e1})+d_{e1}=\frac{P_{e1}+P_{e2}-2P}{P_{e2}-P_{e1}}{d}_{e1}+\frac{2(P-P_{e1})}{P_{e2}-P_{e1}}{d}_0;$$\&lt;6\&gt;\underset{P\&Element;SEG}{{}^{6}d\left(P\right)}=\frac{d_0-d_{e2}}{(P_{e1}+P_{e2})/2-P_{e2}}(P-P_{e2})+d_{e2}=\frac{P_{e1}+P_{e2}-2P}{P_{e1}-P_{e2}}{d}_{e2}+\frac{2(P-P_{e2})}{P_{e1}-P_{e2}}{d}_0;$其中：正向平行表面假设下线段视差为恒定视差值；倾斜表面假设下线段视差按渐变直线分布；根据视差分布假设分别计算6种情况下的线段匹配聚合代价，选取其中代价最低的视差分布作为修正后的视差分布,线段聚合匹配代价的计算如式(11)；${{}^{i}C}_{refine}(SEG,{}^{i}d)=\frac{1}{length\left(SEG\right)}\underset{P\&Element;SEG}{\&Sigma;}C(P,{}^{i}d)+{}^{i}Penalty---\left(11\right)$其中ⁱC_refine表示不同视差分布假设下的匹配代价，i＝1,2,…,6，C(P,ⁱd)由式(11)定义，ⁱPenalty为惩罚因子项，根据步骤3.弱纹理区域匹配A.弱纹理线段匹配中公式(8)、(9)、(10)，匹配代价的计算将引入不同惩罚因子,惩罚因子的设置如下：${}^{i}Penalty=\left\{\begin{array}{cc}\mathrm{\&Pi;}& i=1,5,6,d_0\&gt;\max (d_{e1},d_{e2})\\ \mathrm{\&Pi;}& i=2,3,4,d_0\&lt;\min (d_{e1},d_{e2})\\ \mathrm{\&Pi;}/2& i=5,6,d_0\&lt;\min (d_{e1},d_{e2})\\ 0& otherwise\end{array}\right.$其中Π为常数，算法中取Π＝0.2；使用WTA策略选取最小代价的视差分布：$\underset{P\&Element;SEG}{d_{refine}\left(P\right)}=\arg \underset{i=1,2,...6}{min}\left({{}^{i}C}_{refine}\right(SEG,{}^{i}d\left)\right)$D.行列视差合并按照B.弱纹理线段视差修正后，得到修正后的弱纹理区域行和列视差分布和最后将两幅视差图进行合并，当两视差图同一点视差相近时，取其均值为该点视差，否则置0，如式(12)；$d_{refine}^{comb}\left(P\right)=\left\{\begin{array}{cc}\frac{1}{2}\left(d_{refine}^{row}\right(P)+d_{refine}^{col}\left(P\right))& |d_{refine}^{row}\left(P\right)-d_{refine}^{col}\left(P\right)|\&le;1\\ 0& otherwise\end{array}\right.---\left(12\right)$视差值为0表示该点视差未确定，需根据同线段内已确定视差值进行估计：向水平和竖直方向搜索同一线段内已确定视差值，根据已确定视差值进行直线拟合获得未确定点的视差；步骤4.视差迭代填充经过步骤2边缘匹配及步骤3弱纹理区域匹配后，对于图像中尚未确定视差的像素点，需进行视差填充，获得完整的致密视差图，将未确定视差的像素点标记为blank，已确定视差的像素点标记为filled，P_blank的视差值将根据其邻域内P_filled视差确定，blank点的视差填充过程如下：A.计算每个P_blank与8邻域内图像点的彩色差异ColorDiff并进行排序，如式(13)：$ColorDiff(P,P^{\&prime;})=\underset{i=R,G,B}{\&Sigma;}|I_i^l\left(P\right)-I_i^l\left(P^{\&prime;}\right)|---\left(13\right)$B.若P_blank8邻域内ColorDiff最小点为filled，则将其视差值赋予P_blank，并将P_blank标记为filled；否则不做处理；C.迭代执行B，直至没有点再被标记为filled；D.对于剩余的blank点，将其8邻域内filled点中ColorDiff最小的点的视差值作为剩余blank点的视差估计；E迭代执行步骤D，直至所有点都标记为filled；步骤4.深度边缘视差求精经步骤3迭代填充后，得到左图像的完整视差图，对于左图像中的视差不连续的深度边缘区域，考虑遮挡及视差不连续引起的集合错误，进行深度边缘视差求精；A.遮挡处理根据右图对应点的重合确定遮挡点对，比较遮挡及被遮挡点与右图对应点的匹配代价，判断遮挡是否合理并进行相应的视差估计，遮挡处理按行进行，其具体过程如下：⑴.对于左图中的点从该点向右搜索是否存在满足若存在，则在右图中的对应点重合，认为被所遮挡，否则认为未被遮挡；⑵.对于被遮挡的情况，分别计算与其相同对应点的匹配代价及若$C(P_1^l,d(P_1^l\left)\right)\&lt;C(P_2^l,d(P_2^l\left)\right)+{\mathrm{Penalty}}_{occlu},$认为当前遮挡为错误遮挡，并令否则认为当前遮挡为正确遮挡，两点视差保持不变，并将归入被遮挡点集合S_O；Penalty_occlu为遮挡惩罚因子，用于抑制相似导致的错误遮挡，对于未被遮挡的点，不做处理；⑶对于左图中的每行像素点从左到右依次执行步骤⑴、⑵，至整幅图像得到遍历；B.视差不连续处理根据邻域像素的信息对视差不连续区域的非被遮挡点的视差值进一步求精，对于图像中的每个点，首先根据8邻域内是否存在视差差值超过阈值TD_D的像素点判断其是否属于视差不连续区域，如式(14)；S_D＝{P||d(P)‑d(P′)|≥TD_D,P′∈NE(P)}  (14)其中NE(P)表示点P的8邻域；对处于视差不连续区域的非被遮挡点，按照3×3区域内的不同视差值计算其匹配代价，取最小匹配代价对应的视差值为其最终视差值，如式(15)；$\underset{P\&Element;S_D-S_O}{d\left(P\right)}=\arg \underset{d\&Element;D_N\left(P\right)}{\min }\left(C_{M.\mathrm{AD}}(P,d)\right)---\left(15\right)$其中D_N(P)表示视差图中以点P为中心3×3区域内的视差值集合，匹配代价C_M.AD(P,d)；通过A.遮挡处理和B.视差不连续处理实现深度边缘视差求精后，对所得视差图进行3×3的中值滤波，得到最终的视差图。