[发明专利]一种结合深度特征的双目立体视觉匹配方法

摘要

本发明公开一种结合深度特征的双目立体视觉匹配方法，包括对左右图像经卷积神经网络得深度特征图，以深度特征为基准计算像素深度特征截断相似性测度，构造组合颜色、梯度和深度特征的截断匹配代价函数得匹配代价卷；对匹配代价卷采用固定窗口、可变窗口、自适应权重聚合或引导滤波方法得经过匹配代价聚合的代价卷；将前述代价卷采用WTA选择最优视差得初始视差图，然后采用双峰测试、左—右一致性检测、顺序一致性检测或遮挡约束算法寻找遮挡区域，将遮挡点赋予距离最近同行点的视差值得视差图；对视差图用均值或双边滤波器对视差图滤波得最终视差图。本发明能够有效降低立体匹配的误匹配率，图像平滑且有效保持图像边缘包括细小物体的边缘。

主权项

1.一种结合深度特征的双目立体视觉匹配方法，包括匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：A、匹配代价计算：将已校正的双目立体视觉传感器获得的左右两幅图像通过构造卷积神经网络CNN得到其深度特征图，以深度特征为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、梯度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范围完成所有视差值下的匹配代价计算后得到匹配代价卷；所述截断相似性测度为：               (1)其中x、y分量表示特征点的二维空间坐标，d表示视差值，Dl和Dr分别表示左深度图像、右深度图像，T是截断上限；所述构造组合颜色、梯度和深度特征的截断匹配代价函数为：     (2)其中Ñx表示图像x方向的梯度，Il、Ir分别表示左极线、右极线，T1、T2、T3分别是三个部分的截断上限，α1、α2和1‑α1‑α2分别是基于颜色、梯度、深度测度的权重；B、匹配代价聚合：对A步骤的匹配代价卷采用固定窗口、多窗口、可变窗口、自适应权重聚合或引导滤波方法代价聚合得到经过匹配代价聚合的代价卷；C、视差计算：将B步骤聚合后得到的经过匹配代价聚合的代价卷采用胜者为王WTA算法选择最优视差得到初始视差图，然后对初始视差图采用双峰测试BMD、左—右一致性检测LRC、顺序一致性检测ORD或遮挡约束OCC算法寻找遮挡区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到视差图；D、视差图优化：对C步骤的视差图使用均值滤波器或双边滤波器对视差图进行滤波，在图像平滑的同时恢复误匹配像素点得到最终视差图。