[发明专利]一种基于级联几何上下文神经网络的双目视差估计方法

摘要

本发明提出了一种基于级联几何上下文神经网络的双目视差估计方法；本发明设计了一种新的级联卷积神经网络Cascaded GCNet(CGCNet)，该网络主要通过改进GCNet,通过将3d卷积和原有的2d卷积操作结合，得到了较好的视差图特征表述，有利于后续网络训练；并且利用RefineNet对GCnet网络输出的粗糙视差图进行优化，迭代求精，提高了视差图的预测精度；RefineNet优化过程中，利用难例挖掘使得网络模型专注于难得样本学习，以此提高本网络对于不同复杂度图像对的视差估计精度。

主权项

1.一种基于级联几何上下文神经网络的双目视差估计方法，其特征在于，该方法具体包括以下步骤：步骤(1)：图像预处理；对带有参考实参图的双目图像对的左图和右图分别作归一化处理，使其图像像素值在[‑1,1]中；步骤(2)：构造级联卷积神经网络CGCNet；包括以下网络层：2‑1.构造粗略视差图像估计层；该网络层由GCNet网络构成；2‑2.构造视差求精层；该网络层为RefineNet，将步骤2‑1中生成的粗糙视差图输入构造视差求精层，输出的结果便是精确的视差图；步骤(3)：网络训练；收集数据集，对网络进行有监督的反向传播算法训练，包含以下步骤：3‑1.对训练数据进行预处理；3‑2.将数据输入GCNet进行训练得到粗糙视差图；3‑3.将粗糙视差图输入RefineNet进行训练，并利用难例挖掘进行有监督的反向传播训练；3‑4.通过2‑1和2‑2的各自网络训练得到该两个网络的权重，利用这些权重将网络级联进行端到端的训练；步骤(4)：求视差图；从Kitti2015测试数据集中取双目图像对进行测试，对测试图像对进行步骤(1)的预处理，接着将预处理后的图像对输入到步骤(3)中训练完成的网络，最终得到相应的视差图。