[发明专利]双目视差估计方法、模型训练方法以及相关设备

权利要求书

1.一种双目视差估计模型训练方法，其特征在于，包括：

获取样本左图、样本右图以及视差标签；

将所述样本左图、样本右图作为一双目视差估计模型的输入，所述双目视差估计模型包括：

特征提取网络模块，用于提取输入的左图在多个尺度上的左特征图以及提取输入的右图在多个尺度上的右特征图；

匹配代价计算模块，用于计算同一尺度的左特征图和右特征图的匹配代价；

单尺度代价聚合模块，用于对所述匹配代价计算模块输出的各尺度的匹配代价进行单尺度代价聚合；

多尺度代价聚合模块，用于对所述单尺度代价聚合模块输出的单尺度聚合代价进行多尺度代价聚合；

视差回归模型，用于对所述多尺度代价聚合模块输出的多尺度聚合代价进行视差回归，以获得左图和右图的估计视差；

计算所述视差标签与所述估计视差的误差，以对所述双目视差估计模型进行训练。

2.如权利要求1所述的双目视差估计模型训练方法，其特征在于，同一尺度的左特征图和右特征图的匹配代价根据如下公式计算：

其中，C^s(d，h，w)是尺度s下，位置(h，w)处，视差d的匹配代价，其中，h和w分别是特征图的横纵坐标；分别是左特征图和右特征图，·，·是内积运算，N是特征图的通道数。

3.如权利要求1所述的双目视差估计模型训练方法，其特征在于，各尺度的匹配代价根据如下公式进行单尺度代价聚合：

其中，是特征图的位置p处，视差d经过单尺度聚合后的匹配代价；C是聚合前的匹配代价；K²是采样点数；p_k是每个采样点k固定的偏移；Δp_k是自适应偏移，由算法根据聚合前的匹配代价C计算得出；m_k是自适应权重，由算法根据聚合前的匹配代价C计算得出；w_k是基于所述双目视差估计模型的训练更新的参数。

4.如权利要求1所述的双目视差估计模型训练方法，其特征在于，所述单尺度代价聚合模块输出的单尺度聚合代价根据如下公式进行多尺度代价聚合：

其中，是多尺度聚合后的匹配代价；是t尺度下，单尺度代价聚合模块输出的单尺度聚合代价；f_t是不同尺度匹配代价的变换函数：当t＝k时，在该尺度下，多尺度聚合前后匹配代价恒等；当t＜s时，f_t表示用3x3的2D卷积进行对多尺度聚合前的匹配代价进行下采样并调整特征图的通道数；t＞s时，f_t表示对多尺度聚合前的匹配代价进行先上采样再用1x1的2D卷积调整特征图的通道数。

5.如权利要求1所述的双目视差估计模型训练方法，其特征在于，根据如下公式对所述多尺度代价聚合模块输出的多尺度聚合代价进行视差回归，以获得左图和右图的估计视差：

其中，是位置p处的估计视差，σ_p(d)是位置p处视差可能是d的概率，D_max是最大视差；是位置p处的多尺度聚合代价。

6.如权利要求1所述的双目视差估计模型训练方法，其特征在于，根据如下公式计算所述视差标签与所述估计视差的误差：

其中，L_total是总误差，L_i分别是S个尺度上的误差，L(·，·)是损失函数，V(p)代表了视差标签的位置p处是否有真值，是位置p处预测的视差，D_gt(p)是真值，D_pseudo(p)是预训练网络生成的伪视差标签，λ_i为尺度i的误差权重。

7.如权利要求1至6任一项所述的双目视差估计模型训练方法，其特征在于，所述双目视差估计模型训练时，所述多尺度代价聚合模块分别基于每一尺寸，对所述单尺度代价聚合模块输出的单尺度聚合代价进行多尺度代价聚合以获得对应于每个尺度的多尺度聚合代价。