[发明专利]双目视差估计方法、模型训练方法以及相关设备

说明书

本发明提供一种双目视差估计方法、模型训练方法以及相关设备。模型训练方法包括：获取样本左图、样本右图以及视差标签；将所述样本左图、样本右图作为一双目视差估计模型的输入，所述双目视差估计模型包括特征提取网络模块、匹配代价计算模块、单尺度代价聚合模块、多尺度代价聚合模块、视差回归模型；计算所述视差标签与所述估计视差的误差，以对所述双目视差估计模型进行训练。本发明提供的方法及装置采用新的网络模型结构，以及优化的模型训练方法，解决方法中计算量大，耗时长，物体边缘和无纹理区域效果差的不足，推进基于双目图片的视差估计方法在不同领域的应用。

技术领域

本发明涉及图像处理领域，尤其涉及一种双目视差估计方法、模型训练方法以及相关设备。

背景技术

通过双目图片估计视差是计算机视觉领域的一项基础任务，其精度和实时性直接决定后续识别和追踪等任务的性能。现有的基于神经网络的视差估计算法在代价聚合环节大多运用了3D卷积，计算量大，耗时很长；对于物体边缘和大面积无纹理的区域视差估计效果不良。由此，这些缺陷限制了现有方法在自动驾驶、安防及V2X等领域的应用。

针对以上问题，如何采用新的网络模型结构，以及优化的模型训练方法，解决方法中计算量大，耗时长，物体边缘和无纹理区域效果差的不足，推进基于双目图片的视差估计方法在不同领域的应用，是本领域技术人员亟待解决的技术问题。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供一种双目视差估计方法、模型训练方法以及相关设备。

根据本发明的一个方面，提供一种双目视差估计模型训练方法，包括：

获取样本左图、样本右图以及视差标签；

将所述样本左图、样本右图作为一双目视差估计模型的输入，所述双目视差估计模型包括：

特征提取网络模块，所述特征提取网络模块用于提取输入的左图在多个尺度上的左特征图以及提取输入的右图在多个尺度上的右特征图；

匹配代价计算模块，用于计算同一尺度的左特征图和右特征图的匹配代价；

单尺度代价聚合模块，用于对所述匹配代价计算模块输出的各尺度的匹配代价进行单尺度代价聚合；

多尺度代价聚合模块，用于对所述单尺度代价聚合模块输出的单尺度聚合代价进行多尺度代价聚合；

视差回归模型，用于对所述多尺度代价聚合模块输出的多尺度聚合代价进行视差回归，以获得左图和右图的估计视差；

计算所述视差标签与所述估计视差的误差，以对所述双目视差估计模型进行训练。

在本发明的一些实施例中，同一尺度的左特征图和右特征图的匹配代价根据如下公式计算：

其中，C^s(d,h,w)是尺度s下，位置(h,w)处，视差d的匹配代价，其中，h和w分别是特征图的横纵坐标；分别是左特征图和右特征图，·,·〉是内积运算，N是特征图的通道数。

在本发明的一些实施例中，各尺度的匹配代价根据如下公式进行单尺度代价聚合：

其中，是特征图的位置p处，视差d经过单尺度聚合后的匹配代价；C是聚合前的匹配代价；K²是采样点数；p_k是每个采样点k固定的偏移；Δp_k是自适应偏移，由算法根据聚合前的匹配代价C计算得出；m_k是自适应权重，由算法根据C计算得出；w_k是基于所述双目视差估计模型的训练更新的参数。

在本发明的一些实施例中，所述单尺度代价聚合模块输出的单尺度聚合代价根据如下公式进行多尺度代价聚合：