[发明专利]基于混合2D卷积和伪3D卷积的立体匹配方法

说明书

本发明涉及计算机视觉领域，具体涉及一种基于混合2D卷积和伪3D卷积的立体匹配方法(HybridNet)；其方法包括以下步骤：基于预设参数提取图像特征，得到特征图；基于特征图生成代价卷；通过PSMNet结构得到代价聚合后的代价卷；最后通过视差回归得到初始视差图；通过初始视差图得到残差代价卷，残差聚合后得到视差残差优以化初始视差图；其中，在PSMNet结构和残差聚合中将3D卷积换成混合2D卷积和伪3D卷积的组合；对视差图采用CSPNet的方法进行深度图优化；结合2D卷积来近似实现3D卷积的功能，这种数据切换操作不含可学习的参数以及不会产生计算量；本发明的混合2D卷积以及伪3D卷积的代价聚合方式可以在微小的精度损失的情况下，极大的降低现有模型的计算量。

技术领域

本发明涉及计算机视觉领域，具体而言，涉及一种基于混合2D卷积和伪3D卷积的立体匹配方法。

背景技术

立体匹配作为立体视觉的基础任务可以被广泛运用到自动驾驶，三维重建，虚拟现实等领域。通过计算经立体校正之后的左右视图的视差，可以通过相似三角形的等比关系计算目标的距离。相比于一些常见的主动距离探测传感器如激光雷达，双目立体相机的优势在于可以获取稠密的深度图，同时成本也远低于主动式传感器。

在传统的立体匹配算法中，计算左右视图的视差主要分为以下四步：代价计算，代价聚合，视差计算，视差优化。传统的立体匹配算法常面临着视差准确率不高以及计算量大的问题。近年来，卷积神经网络(Convolutional neural networks，简称CNNs)在双目立体匹配上取得了很大的进展。通过卷积神经网络，将双目图像进行特征提取降采样，在进行视差聚合与计算可以显著的降低计算量。现阶段，神经网络代价聚合部分通常采用3D卷积可以有效地代价聚合，实现准确的视差回归计算。但是3D卷积的计算量较大，非常不利于在一些实时应用上使用。另外，也有一些仅使用2D卷积进行代价聚合的网络，为此这些网络压缩了整个学习特征的通道维度，这样导致特征信息的丢失，从而这些网络的准确率有所降低。

现有的基于神经网络的双目立体匹配算法主要分为两类。一类是使用2D卷积进行代价聚合的算法，另一类是使用3D卷积进行代价聚合的算法；两类至少具有以下不足：

2D卷积代价聚合算法在利用左右特征图生成代价卷上，采用了通过压缩通道信息的方式形成四维的代价卷。这样做可以直接利用2D卷积进行代价聚合，但是由于在压缩通道信息的时候丢弃了大量的特征信息，导致这类方法在准确率上不占优势。

3D卷积代价聚合算法在利用左右特征图生成代价卷上，保留了通道信息，形成五维的代价卷，需要使用3D卷积进行代价聚合。虽然在准确率上实现了优越的性能，但是由于3D卷积的计算量大，在面向实时性方面没有优势。

发明内容

本发明实施例提供了一种基于混合2D卷积和伪3D卷积的立体匹配方法，可以保证准确率的同时，极大的降低计算量。

根据本发明的一实施例，提供了一种基于混合2D卷积和伪3D卷积的立体匹配方法，包括以下步骤：

基于预设参数提取图像特征，得到特征图；

基于特征图生成代价卷；

通过PSMNet结构代价聚合后通过视差回归得到初始视差图；其中，在PSMNet结构中将3D卷积换成混合2D卷积和伪3D卷积的组合；

通过初始视差生成残差代价卷，通过残差代价聚合，得到视差残差优化初始视差；其中，残差代价聚合的3D卷积换成混合2D卷积和伪3D卷积的组合；

对优化的视差图采用CSPNet的方法进行深度图进一步优化。

进一步地，方法还包括采用PSMNet的沙漏结构的版本通过视差回归得到初始视差图，并将其3D卷积换成本发明提出的混合2D卷积与伪3D卷积组合。