[发明专利]一种基于双流卷积神经网络的立体匹配方法

摘要

本发明公开了一种基于双流卷积神经网络的立体匹配方法。该方法利用一种双流卷积神经网络，学习并计算出左右视图中目标区域的匹配代价，并以交叉聚合算法作为辅助，有效地获得目标图像的视差图。双流网络结构不仅继承了卷积神经网络计算量小，性能稳定等优点，同时拥有较大的接受域，并且更充分地提取了目标点邻近区域的特征，拥有更高的精度。

主权项

一种基于双流卷积神经网络的立体匹配方法，其特征在于该方法包括：步骤(1)：构建一种基于交叉熵二值分类问题的训练数据，将训练数据分割出正负样本；步骤(2)：提出一种双流卷积神经网络结构用于计算两张图像的相似度，并利用步骤(1)构建的数据去训练网络的参数；所述的双流卷积神经网络由两个孪生卷积神经网络组成，再将它们的结果汇总并输出，每一个孪生卷积神经网络都有左右两个子网络，左右子网络在网络结构上一样，具体如下：以32×32的窗口作为输入；后接一个3×3，步长为1的卷积层+ReLU激活层；后接一个2×2，步长为2的下采样层，下采样采用maxpooling；后接三个3×3，步长为1的卷积层+ReLU激活层；孪生卷积神经网络的两个子网络最后得到两个9×9的窗口，子网络参数共享；左右子网络的不同在于：左侧子网络的输入是左图的窗口，右侧子网络的输入是右图的窗口；两个孪生卷积神经网络的结构也是一样的，不同在于：其中一个的输入为原图中解析度为32×32的窗口，另一个的输入是将同一个点为中心的64×64的窗口下采样成32×32的窗口；两个孪生卷积神经网络汇总时进入决策层，结构如下：一个324×1024全连接层，输出维度为1024，并经过ReLU激活；一个1024×1的全链接层，输出维度为1，并经过Sigmoid激活；步骤(3)：分段处理双流卷积神经网络前向计算过程中分流和汇总两个模块，并保存中间数据，节省大量计算量；步骤(4)：将网络输出结果转化为匹配代价，并利用交叉聚合算法将聚合区域内的匹配代价平均化；步骤(5)：基于赢者通吃策略计算每一个像素点的视差，并用插值法对结果进行亚像素增强。