[发明专利]一种基于ZNCC算法和神经网络的实时立体匹配方法

权利要求书

1.一种基于ZNCC算法和神经网络的实时立体匹配方法，其特征在于，包括：

步骤1：对输入的RGB图像进行下采样并转灰度图，得到低分辨率的灰度图像；

步骤2：利用ZNCC算法、半全局算法、胜者通吃算法、单片匹配相优化进行快速立体视觉匹配，得到误差较大且低分辨率的视差图；

步骤3：利用神经网络对步骤2得到的视差图进行放大优化，得到原始分辨率的视差图；

步骤4：将步骤3得到的视差图转换为深度图像。

2.根据权利要求1所述的实时立体匹配方法，其特征在于，所述步骤2包括如下子步骤：

步骤2-1：将步骤1得到的灰度图像利用ZNCC算法计算匹配成本，具体包括：定义匹配窗口W，根据下式计算参考图与目标图中像素点的差异：

其中，

以及：

式中，C(x，y，d)表示I_R(x，y)和I_T(x-d，y)两个像素点之间的相似度，即为匹配成本，(x，y)、d分别表示坐标与视差，C(x，y，d)的值在0到1之间，值越小，两个像素点越相似；ΔI_R(x，y)表示参考图中的像素点I_R(x，y)减去其邻域的均值之后的结果；ΔI_T(x-d，y)表示目标图中的像素点I_T(x-d，y)减去其邻域均值之后的结果；σ_R(x，y)和σ_T(x-d，y)是匹配窗口W中像素值的标准差；和是匹配窗口W中像素值的平均值；

步骤2-2：将步骤2-1得到的匹配成本通过半全局算法进行聚合，具体公式如下：

其中，C_r(x，y，d)表示在r方向上匹配成本的聚合，r代表任意方向；C_r(x-r，y，d)表示在r方向上位于点(x，y)前面的所有像素视差为d的匹配成本的聚合；C_r(x-r，y，d+1)表示在r方向上位于点(x，y)前面的所有像素视差为(d+1)的匹配成本的聚合；C_r(x-r，y，d-1)表示在r方向上位于点(x，y)前面的所有像素视差为(d-1)的匹配成本的聚合；P1与P2是惩罚系数；C_r(x-r，y，i)表示在r方向上位于点(x，y)前面的所有像素视差为i的匹配成本的聚合，i为除了d与(d±1)以外的任意视差值；k为使得在r方向上位于坐标(x，y)前面的所有像素匹配成本聚合最小的视差值；

最终的成本值C_SGM(x，y，d)从不同方向汇总如下：

最后，通过胜者通吃(WTA)算法获取初始低分辨率的视差图，具体公式如下：

D_map(x，y)＝argmin_d(C_SGM(x，y，d))

其中，D_map(x，y)表示低分辨率视差图中坐标为(x，y)像素点的值；

步骤2-3：将步骤2-2得到的低分辨率视差图通过单边匹配相算法进行优化，具体约束方程如下：

其中，D为视差图中最大的视差值，D_map(x-l，y)表示视差图中坐标为(x-l，y)像素点的值，l表示任意小于D的正整数；不满足该方程的点会被标记为无效点，其视差值由左右方向最近且最小的有效值代替。