[发明专利]基于共享特征和注意力上采样的双目视差匹配方法及系统

说明书

本发明公开了一种基于共享特征和注意力上采样的双目视差匹配方法及系统，该方法步骤包括：将左、右图像预处理后提取1/2尺度、1/4尺度、1/8尺度、1/16尺度特征图；左、右图像1/16尺度特征图构建匹配代价矩阵，生成1/16尺度的初始视差图；使用1/16尺度初始视差图和1/16尺度图像特征图估计出1/16尺度的视差残差图，利用注意力机制实现上采样，生成1/8尺度的视差图；分别使用1/8尺度、1/4尺度、1/2尺度视差图和对应的图像特征图，分别生成1/4尺度、1/2尺度和原尺度视差图；进行模型训练并保存最优模型参数；载入预训练参数，输入图像帧，获取不同尺度视差图。本发明采用共享特征设计和注意力机制上采样，有效提升了视差匹配的精度和速度，能够实时地生成高精度视差图。

技术领域

本发明涉及双目视差匹配技术领域，具体涉及基于共享特征和注意力上采样的双目视差匹配方法及系统。

背景技术

深度估计是很多实际应用的核心问题，比如自动驾驶、三维重建、虚拟现实等。目前，获取深度值的方法有激光雷达，结构光，双目视觉等。其中，双目视觉方法因为成本低，部署方便，被广泛使用。双目视觉方法基于双目相机，双目相机同时拍摄左右两幅视图，从左右两幅视图得到对应的视差图，然后根据双目相机参数计算深度图像。

传统的视差匹配方法可以分为四步：匹配代价计算，代价聚合，视差计算和视差精化。然而，传统的视差匹配方法多是基于人为设计的特征，以及启发式的能量函数，且只能串行计算。因此，精度上和速度上都很难满足实际需求。

近年来，随着深度神经网络网络技术的发展，基于深度卷积神经网络的视差匹配技术在速度和精度上都超过了传统视差匹配方法。由于深度卷积神经网络强大的特征表征能力，使得视差匹配的精度有了大幅度的提高。而且，卷积神经网络能够在GPU上进行快速的并行计算，因此比传统方法要快很多。

然而，目前基于深度卷积神经网络的视差匹配计算仍存在一定局限性，具体表现为：1)参数过多，导致占用显存过大；2)计算量过大，难以支撑高实时的应用；3)无法根据需求实时地调整计算量和精度。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种基于共享特征和注意力上采样的双目视差匹配方法，以实际应用场景的视差匹配网络作为研究目标，综合考虑视差匹配的准确性与实时性，能够更加鲁棒地、灵活地应对实际应用场景的挑战。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种基于共享特征和注意力上采样的双目视差匹配方法，包括下述步骤：

对获取的图像进行归一化处理，将双目视觉采集到的左、右图像经预处理后输入卷积神经网络，提取1/2尺度、1/4尺度、1/8尺度、1/16尺度的特征图；

采用左、右图像的1/16尺度特征图构建匹配代价矩阵，采用三维卷积神经网络计算匹配代价矩阵，生成视差可能性特征图，采用Soft-Argmin函数计算视差可能性特征图，生成1/16尺度的初始视差图；

分别将1/16尺度的初始视差图和1/16尺度的图像特征图送入二维卷积层，进行特征提取，采用提取得到的特征估计出1/16尺度的视差残差图，采用提取的特征为每个像素估计出自适应权重，应用注意力机制，将自适应权重与视差图相对应的邻域视差值进行加权求和，实现上采样，生成1/8尺度的视差图；

分别输入1/8尺度、1/4尺度、1/2尺度的视差图和对应的图像特征图，分别生成1/4尺度、1/2尺度、原尺度的视差图；

构建损失函数，根据损失函数分别计算1/16尺度、1/8尺度、1/4尺度、1/2尺度和原尺度的预测视差图与标签的损失值，求和取得总的损失值，然后进行反向传播，更新模型参数，当总的损失值不再下降时，保存模型参数；

将预处理后的图像输入模型中，获取不同尺度的视差图。