[发明专利]一种基于ZNCC算法和神经网络的实时立体匹配方法

说明书

本发明公开了一种基于ZNCC算法和神经网络的实时立体匹配方法，能既快速又准确地通过目标图像与参考图像计算出深度图像。首先，对输入的RGB图像进行下采样，并转换为灰度图像，得到低分辨率的灰度图像，然后，利用ZNCC算法进行低分辨率图片的匹配成本计算，并通过SGM算法、WTA算法、SMP算法生成初始的低分辨率的视差图，然后，通过神经网络算法得到高分辨率的视差图，最后，将其转换为深度图像。本发明方法是基于传统方案和神经网络算法的混合系统，其中，传统方案用以快速生成视差图，神经网络着重于对视差图的放大优化。通过本发明的技术方案，实现了实时立体视觉匹配系统，且系统具有很高的精确度。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于ZNCC算法和神经网络的实时立体匹配方法。

背景技术

立体视觉匹配是三维重建过程中的重要步骤，一般是通过2个或多个图像采集器，通过对同一时刻两采集器采集到的一对图像进行立体匹配，得到图像中各像素点的视差值，并可以进一步将视差值转换为深度值。立体视觉匹配的过程可以分为深度图像计算与深度图像优化两个步骤，当前的立体视觉匹配算法可以分为传统算法与神经网络算法，一般来说，基于神经网络算法搭建的立体匹配系统精确度更高，而基于传统算法的立体匹配系统运行速度更快。

在实际应用的过程中，受限于电源设备，只能采取低功耗的嵌入式设备进行立体视觉匹配。低功耗的嵌入式设备计算能力有限，导致基于神经网络算法搭建的立体视觉匹配系统难以达到实际应用的需要。而直接利用传统算法进行立体视觉匹配，其精度难以达到实际应用需要。

发明内容

发明目的：针对上述现有技术，提出一种基于ZNCC算法和神经网络的实时立体匹配方法，能既快速又准确的通过目标图像与参考图像计算出深度图像，实现速度与精度的平衡。

技术方案：一种基于ZNCC算法和神经网络的实时立体匹配方法，包括：

步骤1：对输入的RGB图像进行下采样并转灰度图，得到低分辨率的灰度图像；

步骤2：利用ZNCC算法、半全局算法、胜者通吃算法、单片匹配相优化进行快速立体视觉匹配，得到误差较大且低分辨率的视差图；

步骤3：利用神经网络对步骤2得到的视差图进行放大优化，得到原始分辨率的视差图；

步骤4：将步骤3得到的视差图转换为深度图像。

进一步的，所述步骤2包括如下子步骤：

步骤2-1：将步骤1得到的灰度图像利用ZNCC算法计算匹配成本，具体包括：定义匹配窗口W，根据下式计算参考图与目标图中像素点的差异：

其中，

以及：

式中，C(x,y,d)表示I_R(x,y)和I_T(x-d,y)两个像素点之间的相似度，即为匹配成本，(x,y)、d分别表示坐标与视差，C(x,y,d)的值在0到1之间，值越小，两个像素点越相似；ΔI_R(x,y)表示参考图中的像素点I_R(x,y)减去其邻域的均值之后的结果；ΔI_T(x-d,y)表示目标图中的像素点I_T(x-d,y)减去其邻域均值之后的结果；σ_R(x,y)和σ_T(x-d,y)是匹配窗口W中像素值的标准差；和是匹配窗口W中像素值的平均值；

步骤2-2：将步骤2-1得到的匹配成本通过半全局算法进行聚合，具体公式如下：