[发明专利]一种基于多匹配基元融合的双目视觉立体匹配方法

摘要

双目视觉基于多匹配基元融合的立体匹配方法包括计算机、二个摄像机和多匹配基元融合的立体匹配方法。摄像机选用ZED双目摄像机。多匹配基元融合的立体匹配方法包含三个阶段：初始匹配代价阶段、代价函数聚合阶段和视差后处理阶段。在初始匹配代价阶段中，设计了包含颜色基元与梯度基元相融合的代价函数，其通过卡尔曼系数α进行自适应调节；在代价函数聚合阶段基于RGB颜色及距离关系设计了自适应匹配窗口，通过窗口内参考图像与代价函数之间相关性进行聚合；最后阶段，通过LRC左右一致性以及基于亚像素级别自适应权重中值滤波进行视差后处理。本发明对比经典自适应权重算法提高了算法的准确性与实时性，并在复杂的区域表现了较高的鲁棒性。

主权项

1.一种双目视觉基于多匹配基元融合的立体匹配方法，包括计算机、二个摄像机和多匹配基元融合的立体匹配方法，其特征在于：所述摄像机选用ZED双目摄像机，并对ZED双目摄像机作如下设置：(1)、图像采集：通过下载ZED SDK以及CUDA，并通过USB 3.0接口连接电脑；通过MATLAB内webcam函数连接ZED双目相机，并通过snapshot函数进行图片采集；(2)、相机标定：相机标定的目的，旨在获取准确摄像机内外参数；内参数主要包括左右镜头的焦距，基线距离；外参数主要包括两摄像机相对于世界坐标系的旋转矩阵，以及左右相机的相对平移矩阵；本发明从官方手册获得摄像机的默认内外参数；(3)、图像参数设定：通过标定参数进行极线校正使得采集到的左右图像满足极线约束条件；并通过ZED SDK内嵌ZED Explorer.exe插件进行参数的重设定；(4)、立体匹配：立体匹配作为双目视觉系统的核心部分；立体匹配的目的在于对采集到的左右图像进行成像点匹配，通过匹配点得到视差值，并获得场景的深度信息；ZED双目摄像机可以装设在机器人或无人驾驶机上，双目摄取的实际场景经多匹配基元融合的立体匹配处理，能达到真实场景的目的，再通过设置在机器人或无人驾驶机上的计算机处理，向机器人或无人驾驶机控制与驱动系统发出导航指令；所述多匹配基元融合的立体匹配方法，包括下述过程：本发明采用改进的ASW匹配方法，主要包括左右参考图像读入阶段、左右初始匹配代价阶段、左右代价函数聚合阶段和视差后处理4个阶段；视差后处理4个阶段，主要包含LRC左右一致性检测与滤波运算，其中：1)、初始匹配代价计算是：ASW算法利用图像的灰度信息作为匹配代价计算的基元；本发明通过对梯度基元和R、G、B三通道颜色基元的均值设置截断阈值，并通过卡尔曼滤波的思想融合像素的R、G、B颜色与梯度信息，通过控制系数α进行自适应调节从而做出改进；具体过程如下：(1)分别设置颜色和梯度阈值t1、t2，计算初始代价eg，ec，如公式(10)(11)所示；(2)自适应调节α系数计算最终的初始匹配代价，最终的初始匹配代价如公式(12)所示；2)、改进的自适应窗口扩展算法：本发明根据像素间的颜色与空间距离采用自适应窗口方法，已知待匹配的中心像素点p(x,y)，在x和y方向上各邻域像素点分别为p(x‑1,y)，p(x+1,y)和p(x,y‑1)，p(x,y+1)；不同于传统的自适应窗口扩展方法以中心像素点灰度信息进行像素扩展；本发明以中心点R，G，B作为扩展基元，当邻域像素与中心像素点三通道信息同时满足如下公式(13)条件进行窗口扩张；Ir,g,b(x,y)‑Ir,g,b(x‑1,y)＜t  (13)t为预设颜色阈值，且t∈(0,1)；当图像中由于不连续的纹理而导致同一区域像素跳变时，很难使邻域像素三通道像素信息同时满足公式(13)；基于此特性，本发明对传统的固定窗口做出改进；在邻域像素在满足公式(13)条件下进行窗口自适应扩张时，若场景中存在纹理重复区域导致窗口过大使得代价聚合时计算过于复杂，这不符合算法的实时性要求；本发明根据图像几何特性对自适应窗口设置截断臂长；当满足如下公式(14)时对窗口臂长进行截断；其中，p(x),p(y)为中心像素的横纵坐标值，q(x),q(y)为邻域像素的坐标值；通过对middlebury平台下tsukuba，teddy，cones，venus四张测试图像实验设置最小臂长Lmin＝5，阈值Lmax＝11；自适应窗口，首先，对中心像素I(x,y)进行横向扩张，若最终的窗口臂长小于最短臂长，用最小臂长Lmin代替原长度；在窗口扩张过程中，当邻域像素与中心像素空间距离大于截断阈值时，截断窗口；以中心点为参考，上下左右四个不同长度臂长Lu,Ld,Ll,Lr；本发明对自适应窗口的行列大小取值分别如下公式(15)、(16)所示：Rows＝Lu+Ld  (15)Cows＝Ll+Lr  (16)3)、匹配代价聚合算法：计算匹配窗口内待匹配像素的R、G、B三通道像素值与匹配代价函数卷积的均值，如公式(17)所示；其中，p为窗口中心点像素坐标，q为窗口内包括中心点各像素坐标，Np为2.2节所求的自适应窗口，n为窗口内像素总数；在计算完各通道卷积函数的均值后，计算其协方差函数，如公式(18)所示：上式中，mc,me分别为自适应窗口内三通道元素与匹配代价函数的均值，具体公式如下公式(19)、(20)所示：然后，计算参考图像自适应窗口内三通道元素组成的方差矩阵θ，具体描述如下公式(21)所示；其中，矩阵θ各元素计算如公式(22)所示：通过式(17)‑(20)可得系数矩阵如公式(23)所示：由于vce(c∈{r,g,b})为1*3的向量，可得γkn的值包含三通道的向量；当计算完相关系数γkn之后，通过各点代价函数的均值减去参考图像三通道像素与相关系数的卷积，使得左右两幅图像的匹配代价更加独立；最终，初始代价函数如下公式(24)所示：由于γkn为三通道向量，因此n∈(1,2,3)；在计算完最终的匹配代价之后，通过自适应窗口进行匹配代价聚合，具体公式如公式(25)所示；本发明只对参考图像基础上进行聚合，并没有加入待匹配图像；实验结果表明在提高算法实时性的同时并没有降低其准确度；最后采用公式(26)，通过WTA(Winner‑Takes‑All)算法选取代价函数最小时的视差值为视差图的像素值；4)、视差后处理(1)，LRC左右一致性检测在立体匹配算法中，由于左右图像存在视差，遮挡问题一直不可避免；在获得最终视差图之前，本文首先采用LRC左右一致性算法进行视差后处理运算；在以左图像为参考图像时计算得到视差dl，以右图像为参考图像得到视差dr；当满足如下公式(27)条件:|dl‑dr|＞δ  (27)δ为阈值，δ∈(0,1)；本文中δ取值为1；当满足左右视差差的绝对值大于δ，则认为是遮挡点；对遮挡点取左右视差中较小的视差值进行视差填充；(2)，自适应权重中值滤波在进行代价聚合算法之后，得到的视差图往往存在较多的椒盐噪声，有必要对图像进行中值滤波；然而传统的滤波往往忽视了像素之间的相关性；本发明基于空间内像素之间颜色与距离的差异对窗口内像素赋予不同的权值，具体权值运算如公式(28)所示；γc，γd为常数，通过试验获得；论文中通过大量的实验取γc＝0.1，γd＝9；k1,k2由中心像素与周围像素点在颜色空间与距离空间的差异得出，分别由下式(29)和(30)获得；窗口大小为19*19；在获得窗口内各像素的权值之后进行自适应中值滤波，具体过程如下：(1)对窗口内除中心点外的各像素灰度值与各自的权值相乘，得到新的灰度值，利用式(31)计算获得；I'(q)＝w·I(q)  (31)(2)对窗口内包括中心点在内的各像素的新值进行排序，取位于中值附近最接近中心点的2个像素值I'(q1),I'(q2)，取其均值得到新的亚像素级别灰度值代替原中心点像素的灰度值，由式(32)计算获得。