[发明专利]一种基于自适应单峰立体匹配成本滤波的双目深度学习方法

权利要求书

1.一种基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：对网络预测的匹配代价直接施加以真实视差为中心的单峰分布监督，实现自适应的匹配成本滤波，包括以下步骤：

1)构建数据集，数据集包括左图像和右图像，左图像和右图像作为一个立体图像对；

2)以PSMNet作为立体匹配模型基础网络，将立体图像对输入PSMNet立体匹配模型基础网络，PSMNet立体匹配模型基础网络输出三个经过堆积的沙漏3D卷积神经网络聚合后的匹配代价体(Cost Volume)；

3)对于每个匹配代价体(Cost Volume)，分别用一个自信度评估网络(ConfidenceEstimation Network)估计自信度图并用于调节真实的匹配代价体(Ground Truth CostVolume)，以生成像素级别的单峰分布(Unimodal Distribution)作为网络训练标记；

4)提出立体聚焦损失(Stereo Focal Loss)约束估计的匹配代价体和真实的匹配代价体；

5)通过Soft Argmin函数根据估计的匹配代价体生成亚像素的视差图，并且使用一个回归的L₁损失监督估计的视差图和真实的视差图。

2.根据权利要求1所述的基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：在步骤2)中进行真实单峰匹配代价分布生成，即对参考图像中的每个像素点p，都会在目标图像的同一极线上搜索一系列待匹配的像素点，匹配代价体反应的是待匹配像素对的相似性，真实的匹配对之间的匹配代价应该是最小的，而其他参数视差值的匹配代价应该随着和真实视差的距离而增加；每个像素的匹配代价分布都应该以真实视差为中心。

3.根据权利要求1所述的基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：在步骤3)中，构造一个自信度评估网络估计由主干网络预测的匹配代价的自信度，自信度评估网络根据网络的学习难度自适应调整单峰分布的平缓度，即自适应调整单峰分布单峰分布的方差。

4.根据权利要求1所述的基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：在步骤4)中，进行立体聚焦损失计算，匹配代价体为每个像素点都构建了D个匹配代价{C₀，C₁，···C_D-1}，即匹配代价分布；对于像素点p，对估计的匹配代价分布和真实的匹配代价分布P_p(d)利用交叉熵损失衡量估计的匹配代价分布、真实的匹配代价分布之间的相似性并作为网络监督项。

5.根据权利要求2所述的基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：步骤2)中的真实单峰匹配代价分布生成中，假设目标图像中视差d搜索集合为{0,1,L D-1},其中真实视差值为d^gt，真实单峰分布定义为：其中σ0为方差，用于控制真实视差周围的峰型尖锐程度。

6.根据权利要求3所述的基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：步骤3)中的自信度评估网络中，自信度评估网络首先由一个3×3的卷积层，一个归一化层和一个ReLU层组成，并紧接着另一个1×1的卷积层和sigmoid函数输出一个值属于[0,1]之间的自信度图；对于输入的经过聚合后的匹配代价体，网络直接输出为自信度图f∈[0,1]^H×W，其中H、W分别为图像高度、宽度。

7.根据权利要求6所述的基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：步骤3)中的自信度评估网络中，对于像素点p，真实匹配代价分布的方差可以由估计的自信度值f_p进行动态调节：σ_p＝s(1-f_p)+ε，其中s≥0为常量，反应了方差σ对自信度值f_p改变的敏感程度，而ε0定义的是σ的下界，相应的σ_p∈[ε,s+ε]。