[发明专利]一种基于注意力全景感知引导的深度补全方法及装置

说明书

本发明提供了一种基于注意力全景感知引导的深度补全方法及装置，涉及信息融合技术领域。获取可见光相机拍摄的RGB图像数据以及激光雷达扫描的稀疏深度图像数据；通过全景分割网络将RGB图像数据处理为待处理图像的全景分割图像数据；构建3U‑DenseNet网络，将RGB图像数据、全景分割图像数据以及稀疏深度图像数据输入至3U‑DenseNet网络，经过多模态注意力融合模块MMTSAFB输出初步深度补全结果；构建结合卷积空间传播网络CSPN++，将初步深度补全结果输入至CSPN++中，获得深度补全结果，完成基于注意力全景感知引导的深度补全。本发明实现了端到端的深度补全，基于注意力的全景感知引导的深度补全方法精度高，补全效果好，通过融合全景分割图像，在物体边界处的深度变化更细腻。

技术领域

本发明涉及信息融合技术领域，特别是指一种基于注意力全景感知引导的深度补全的方法及装置。

背景技术

在自动驾驶、三维场景重建和VR等诸多三维视觉领域中，获得精确且稠密的深度信息是十分基础且重要的感知技术。为了获取可靠的深度信息，现阶段大都使用可见光相机和激光雷达两种传感器进行深度感知。可见光相机获取的图像数据不具有深度信息，但其拥有丰富的纹理和色彩信息；而激光雷达扫描的深度信息十分稀疏，但其受环境光的影响较小且能提供精确的深度信息。由于这两种传感器的信息能很好的互补，现在主流的深度补全方法主要采用这两种传感器采集的信息。然而，虽然激光雷达能提供精确的信息，但其测量的密度很小，生成的稀疏深度图中有效深度值仅占不到6％。在三维视觉领域中，稀疏的深度图并不能直接被应用，因此，如何将稀疏的深度图补全为精度更高的密集深度图一直是该领域的一个难点。另外，如何更好地融合这两种传感器的信息，也是深度补全中的一个重要任务。

在如今深度学习技术取得了巨大成功的条件下，主流的方法是将稀疏深度图和RGB图像输入到神经网络中然后回归出密集的深度图。基于深度学习的神经网络深度补全算法主要是基于编码器-解码器的卷积神经网络进行特征提取与融合，从而回归出密集的深度图。最近的方法集中在利用彩色图像作为指导图像来恢复无效像素的深度。然而，仅有彩色图像不足以提供对场景的必要理解。因此，深度补全任务受到RGB图像中突然的光照变化(例如，阴影)的影响。

发明内容

针对现有技术中稀疏深度图和RGB图像中的阴影、噪声和遮挡的影响的问题，本发明提出了一种基于注意力全景感知引导的深度补全方法及装置。

为解决上述技术问题，本发明提供如下技术方案：

一方面，提供了一种基于注意力全景感知引导的深度补全方法，包括：

S1：获取可见光相机拍摄的RGB图像数据以及激光雷达扫描的稀疏深度图像数据；

S2：通过全景分割网络将RGB图像数据处理为待处理图像的全景分割图像数据；

S3：构建3U-DenseNet网络，将所述RGB图像数据、全景分割图像数据以及稀疏深度图像数据输入至所述3U-DenseNet网络，经过多模态注意力融合模块MMTSAFB输出初步深度补全结果；

S4：构建结合卷积空间传播网络CSPN++，将所述初步深度补全结果输入至CSPN++中，获得深度补全结果，完成基于注意力全景感知引导的深度补全。

可选地，步骤S2中，通过全景分割网络将RGB图像数据处理为待处理图像的全景分割数据，包括：

通过一个预先训练的Mask2Former模型将RGB图像转换为全景分割语义图像数据。

可选地，步骤S3中，3U-DenseNet网络，包括：颜色引导SC分支、全景分割语义引导SP分支和深度引导3S分支三个分支。

可选地，颜色引导SC分支以及全景分割语义引导SP分支均采用密集跳跃连接的编码器-解码器网络架构，