[发明专利]一种基于级联几何上下文神经网络的双目视差估计方法

说明书

本发明提出了一种基于级联几何上下文神经网络的双目视差估计方法；本发明设计了一种新的级联卷积神经网络Cascaded GCNet(CGCNet)，该网络主要通过改进GCNet,通过将3d卷积和原有的2d卷积操作结合，得到了较好的视差图特征表述，有利于后续网络训练；并且利用RefineNet对GCnet网络输出的粗糙视差图进行优化，迭代求精，提高了视差图的预测精度；RefineNet优化过程中，利用难例挖掘使得网络模型专注于难得样本学习，以此提高本网络对于不同复杂度图像对的视差估计精度。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于级联几何上下文神经网络的双目视差估计方法。

背景技术

深度图是三维重建和三维场景理解中不可或缺的部分。通过给定一对校正后的双目相机生成的图，就可以利用两张图同一行对应的像素去估计它的深度，例如，对于左图的像素(x，y)，假设在右图上所对应的像素是(x+d，y)，我们就可以通过f*l/d去计算它的深度，其中f是相机的焦距，l是双目相机的两个中心点的距离，d是左右图的视差。深度与视差成反比关系，只要计算出了视差，我们就可以直接通过上述计算公式得到深度。目前有利用三维传感器来得到深度图的方法，但是计算非常耗时。传统算法通常把双目视差估计分为多个阶段去优化。直到近几年，才有一些学者使用卷积神经网络计算视差，将其转换成了一个学习任务。在使用了大量的可用的数据后，使用卷积神经网络在计算视差无论是在速度还是精度上，都超越了传统算法。

然而，在一些复杂场景中，比如低纹理，目标遮挡，纹理重复等，这仍然是一个很难解决的问题。在低纹理区域，将非常容易得到许多候选的像素点；另外，如果目标在一张图出现而在另一张图被遮挡，那么这个目标将非常难找到。

发明内容

本发明针对现有技术所存在的上述问题，本发明提出了一种基于级联几何上下文神经网络的双目视差估计方法。主要设计了一种新的级联卷积神经网络Cascaded GCNet(CGCNet)，该网络由两部分组成几何上下文网络GCNet和RefineNet，且采用端到端的训练模式。由于该网络不需要分别计算匹配代价，代价聚合，视差优化等，大大提升了网络训练的效率，同时在精度上也有所提高。

一种基于级联几何上下文神经网络的双目视差估计方法，包括如下步骤：

步骤(1)图像预处理。对带有参考实参图的双目图像对的左图和右图分别作归一化处理，使其图像像素值在[-1,1]中；

步骤(2)构造级联卷积神经网络CGCNet。包括以下网络层：

2-1.构造粗略视差图像估计层。该网络层由GCNet(Geometry and ContextNetwork)网络构成。

2-2.构造视差求精层。该网络层为RefineNet，将步骤2-1中生成的粗糙视差图输入构造视差求精层，输出的结果便是精确的视差图。

步骤(3)网络训练。收集数据集，对网络进行有监督的反向传播算法训练，包含以下步骤：

3-1.对训练数据进行预处理；

3-2.将数据输入GCNet进行训练得到粗糙视差图；

3-3.将粗糙视差图输入RefineNet进行训练，并利用难例挖掘进行有监督的反向传播训练；

3-4.通过3-1和3-2的各自网络训练得到该两个网络的权重，利用这些权重将网络级联进行端到端的训练。

步骤(4)求视差图。从Kitti2015测试数据集中取双目图像对进行测试，对测试图像对进行步骤(1)的预处理，接着将预处理后的图像对输入到步骤(3)中训练完成的网络，最终得到相应的视差图。

所述的步骤(2)中，构造级联卷积神经网络CGCNet。包括以下网络层：