[发明专利]双目立体匹配预处理方法及其装置

说明书

本发明公开了双目立体匹配预处理方法及其装置，该方法包括：对双目相机拍摄的左图和右图进行极线校正；将校正后的左图和右图在纵向上进行降采样，对采样后的左图和右图分别提取各个方向上的纹理图，分别计算左图和右图的纹理平均图，将左图的纹理平均图进行分块，每个块横向上在右图的纹理平均图中进行搜索匹配，根据每个块视差的分布估算左图和右图的视差范围；将校正后的左图和右图在横向上进行降采样，分别提取降采样后的左图和右图的横向纹理图，对左图的纹理图进行分块，每个块纵向上在右图的纹理图中进行搜索匹配，根据每个块的匹配代价函数计算右图的最佳校正量；根据最佳校正量对右图进行校正，得到和左图行对准的右图。

技术领域

本发明属于计算机视觉技术领域，涉及一种双目立体视觉图像匹配预处理方法及其装置。

背景技术

立体视觉是一种成像技术，可以在非结构化和动态的环境中提供全视场3D测量。立体视觉技术可用于多种应用，包括人员跟踪，移动机器人导航和挖掘。它也可以用于工业自动化和3D机器视觉应用中，来执行某些任务，例如垃圾箱拣选，体积测量，汽车零件测量以及3D对象定位和识别。

在双目立体视觉中，对相机进行标定以后，还需要进行立体校正，使得两个相机的光轴完全平行，左右图的像素点在行方向对齐，这样可以减少后续的立体匹配的运算量。目前常用的校正方法有Fusiello算法和Bouguet算法，这两种方法都利用了双目摄像机的内外参数，相机参数通过标定获取，实际应用中受制作工艺，图像噪声等因素影响，标定参数仍存在误差，所以上述方法校正后的左右图在行方向仍有较大偏差，没有完全行对准，导致立体匹配需要进行横向和竖向两个维度的搜索匹配，匹配的速度和准确性都会降低。

发明内容

本发明的目的在于提供一种双目立体视觉图像匹配预处理方法，提高立体匹配的速度和准确性。

本发明的一实施例中提供一种双目立体匹配预处理方法，包括：

（1）对双目相机拍摄的左图和右图进行极线校正；

（2）将校正后的左图和右图在纵向上进行降采样，对采样后的左图和右图分别提取各个方向上的纹理图，分别计算左图和右图的纹理平均图，将左图的纹理平均图进行分块，每个块横向上在右图的纹理平均图中进行搜索匹配，根据每个块视差的分布估算左图和右图的视差范围；

（3）将校正后的左图和右图在横向上进行降采样，分别提取降采样后的左图和右图的横向纹理图，对左图的纹理图进行分块，每个块纵向上在右图的纹理图中进行搜索匹配，根据每个块的匹配代价函数计算右图的最佳校正量；

（4）根据最佳校正量对右图进行校正，得到和左图行对准的右图。

在一优选例中，所述（1）进一步包括：

(1.1)获取双目摄像机的内参数和外参数：

获取双目摄像机采集的N幅棋盘格图像，N≥3，并根据每幅图像棋盘格角点在像素坐标系与世界坐标系的坐标转换关系，计算双目摄像机的内参数f和外参数R、T0，f表示双目摄像机的归一化焦距，R表示双目摄像机的旋转矩阵，T0表示双目摄像机的平移向量；

(1.2)对旋转矩阵R进行分解，得到左摄像机的合成旋转矩阵Rl和右摄像机的合成旋转矩阵Rr，并利用Rl对左摄像机拍摄的左图像进行旋转，同时利用Rr对右摄像机拍摄的右图像进行旋转，使得左图像和右图像共面；

(1.3)利用平移向量T0构造变换矩阵Rrect，并将Rrect与Rl以及Rr分别进行相乘，得到左摄像机的整体旋转矩阵Rl′和右摄像机的整体旋转矩阵Rr′，然后利用Rl′对共面的左图像进行旋转，同时利用Rr′对共面的右图像进行旋转，并将共面的左图像和右图像作为极线校正后的双目立体视觉图像。

在一优选例中，所述（2）进一步包括：