[发明专利]一种基于3D卷积神经网络的双目视差计算方法

说明书

本发明涉及一种基于3D卷积神经网络的双目视差计算方法。包括：S1.根据定义的多尺度特征提取方法对输入的左右视图分别进行特征提取；S2.堆叠左右图相应视差对应位置的特征得到4D的cost volume；S3.使用3D CNN子网络进行代价聚合，得到视差值的对数似然估计，并且上采样到原图分辨率，得到每个像素的可能视差值的对数似然估计，进行对数归一化操作得到新的对数似然估计；S4.计算设置的真实分布；S5.进行反向传播训练；S6.得到每个像素的视差对数似然分布后，转换成概率得到视差概率分布；S7.找到对应最大概率的视差值，S8.由前述左右视差值和视差概率分布，得到归一化概率分布；S9.通过加权平均操作得到每个像素视差的最终估计值。本发明可以有效提高视差计算的精度。

技术领域

本发明涉及双目视觉系统处理领域，更具体地，涉及一种基于3D卷积神经网络的双目视差计算方法。

背景技术

双目视觉系统作为获取深度的低成本方法，在机器人多个领域有重要应用。包括建图，避障，定位等。具体地在自动驾驶，增强现实等领域有重要应用，如3D目标检测，3D环境感知等。其具有低成本，鲁棒性高，抗干扰性强等特点。

传统视差估计方法通常由4个部分组成：特征提取，代价计算，代价聚合，视差优化。随着卷积神经网络及相关硬件的发展，CNN估计视差成为一个较好的应用。但仍然存在许多问题，如多尺度特征的提取，视差的高精度优化等。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种。

为解决上述技术问题，本发明采用的技术方案是：一种基于3D卷积神经网络的双目视差计算方法，包括以下步骤：

S1.构建一种用于多尺度特征提取网络结构，根据该结构定义一种多尺度特征提取方法；

S2.根据S1步骤提供的特征提取网络方法，对输入的左右两幅图像分别进行特征提取，得到的特征设为F₁、F₂；

S3.根据提取得到的左右图特征F₁和F₂，堆叠左右图相应视差对应位置的特征得到4D的costvolume；

S4.基于构建的4D costvolume，使用3DCNN子网络进行代价聚合，得到视差值的对数似然估计，并且上采样到原图分辨率，得到每个像素的可能视差值的对数似然估计，进行对数归一化操作得到新的对数似然估计，定义为L；

S5.根据训练数据的视差真实值，计算设置的真实分布；

S6.根据对数似然估计和真实分布，计算交叉熵，得到loss，利用该loss进行反向传播训练；

S7.局部推断：得到每个像素的视差对数似然分布后，转换成概率得到视差概率分布P_i；

S8.基于得到的视差概率分布P_i，找到对应最大概率的视差值，设为d_max；

S9.由前述左右视差值和视差概率分布，得到归一化概率分布

S10.通过加权平均操作得到每个像素视差的最终估计值

进一步的，所述的S1步骤中用于多尺度特征提取网络方法为：对输入的图像，每次经过一个CNN子网络，得到一个尺度的特征，设置每个CNN子网络的步长为2，总共有4个CNN子网络，总共可提取得到1/2，1/4，1/8，1/16共4个尺度下的子特征，将特征堆叠后输入另外一个CNN子网络得到对每个尺度特征的权重，最后利用该权重对前面4个尺度的特征进行加权操作，得到最终的多尺度特征。

进一步的，所述的S4步骤中，将真实分布设为高斯分布，设视差真实值为：gt，真实分布为：Di，则：