[发明专利]一种基于自适应单峰立体匹配成本滤波的双目深度学习方法

说明书

本申请公开了一种基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：对网络预测的匹配代价直接施加以真实视差为中心的单峰分布监督，实现自适应的匹配成本滤波，包括以下步骤：1)构建数据集，数据集包括左图像和右图像，左图像和右图像作为一个立体图像对；2)以PSMNet作为立体匹配模型基础网络，将立体图像对输入PSMNet立体匹配模型基础网络，PSMNet立体匹配模型基础网络输出三个经过堆积的沙漏3D卷积神经网络聚合后的匹配代价体(Cost Volume)；3)对于每个匹配代价体(Cost Volume)，分别用一个自信度评估网络(Confidence Estimation Network)估计自信度图并用于调节真实的匹配代价体(Ground Truth Cost Volume)，以生成像素级别的单峰分布(Unimodal Distribution)作为网络训练标记。本发明的优点在于它能克服现有技术的弊端，结构设计合理新颖。

技术领域

本发明涉及一种基于自适应单峰立体匹配成本滤波的双目深度学习方法，属于双目立体匹配视觉图像 处理技术领域。

背景技术

双目立体视觉通过模仿人类视觉原理来获得丰富的三维立体数据，尤其是深度信息。经过多年的发展， 双目立体视觉已经在工业测量、三维重建、无人驾驶等领域发挥了巨大作用。双目立体视觉是基于视差原 理并利用成像设备从不同位置获得被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体 的三维几何信息的方法。双目立体匹配过程一般包含四个步骤：匹配代价计算，匹配代价聚合，视差图计 算，视差图优化。其中匹配代价计算是整个算法的核心部分。传统的立体方法一般采用手工设计的图像特 征和代价函数计算匹配代价，由于手工设计本身存在局限性，得到的立体匹配结果抗干扰能力弱，且能应 对的场景有限。近年来，许多基于卷积神经网络的立体匹配方法提出将图像特征提取和代价函数学习建模 为网络层。比如DispNetC提出利用correlation层作为代价函数的一种趋近，然后通过视差回归损失约 束网络学习图像特征提取，由于correlation层计算匹配代价过程丢失过多信息，双目匹配结果精度较低； 而GCNet则进一步释放了网络学习图像特征和代价函数的灵活性，提出将左右图特征在通道维度衔接，并 且利用一系列三维卷积层学习匹配代价计算，然而端到端的网络设计以视差回归(由soft argmin函数回 归)损失监督网络学习，对匹配代价计算过程缺乏明确的约束，导致图像特征提取和代价计算函数无法得 到有效的学习。

发明内容

本发明提供一种基于自适应单峰立体匹配成本滤波的双目深度学习方法(AcfNet)，改进现有基于卷 积神经网络的立体匹配方法，直接对匹配成本计算过程监督学习。

为解决上述技术问题，本发明采取的技术方案是，一种基于自适应单峰立体匹配成本滤波的双目深度 学习方法，对网络预测的匹配代价直接施加以真实视差为中心的单峰分布监督，实现自适应的匹配成本滤 波，包括以下步骤：

1)构建数据集，数据集包括左图像和右图像，左图像和右图像作为一个立体图像对；

2)以PSMNet作为立体匹配模型基础网络，将立体图像对输入PSMNet立体匹配模型基础网络，PSMNet 立体匹配模型基础网络输出三个经过堆积的沙漏3D卷积神经网络聚合后的匹配代价体(Cost Volume)；

3)对于每个匹配代价体(Cost Volume)，分别用一个自信度评估网络(ConfidenceEstimation Network) 估计自信度图并用于调节真实的匹配代价体(Ground Truth CostVolume)，以生成像素级别的单峰分布 (Unimodal Distribution)作为网络训练标记；

4)提出立体聚焦损失(Stereo Focal Loss)约束估计的匹配代价体和真实的匹配代价体；

5)通过Soft Argmin函数根据估计的匹配代价体生成亚像素的视差图，并且使用一个回归的L₁损失 监督估计的视差图和真实的视差图。