[发明专利]一种基于注意力全景感知引导的深度补全方法及装置

权利要求书

1.一种基于注意力全景感知引导的深度补全方法，其特征在于，包括：

S1：获取可见光相机拍摄的RGB图像数据以及激光雷达扫描的稀疏深度图像数据；

S2：通过全景分割网络将RGB图像数据处理为待处理图像的全景分割图像数据；

S3：构建3U-DenseNet网络，将所述RGB图像数据、全景分割图像数据以及稀疏深度图像数据输入至所述3U-DenseNet网络，经过多模态注意力融合模块MMTSAFB输出初步深度补全结果；

S4：构建结合卷积空间传播网络CSPN++，将所述初步深度补全结果输入至CSPN++中，获得深度补全结果，完成基于注意力全景感知引导的深度补全。

2.根据权利要求1所述的基于注意力全景感知引导的深度补全方法，其特征在于，所述步骤S2中，通过全景分割网络将RGB图像数据处理为待处理图像的全景分割数据，包括：

通过一个预先训练的Mask2Former模型将RGB图像转换为全景分割语义图像数据。

3.根据权利要求1所述的基于注意力全景感知引导的深度补全方法，其特征在于，所述步骤S3中，3U-DenseNet网络，包括：颜色引导SC分支、全景分割语义引导SP分支和深度引导3S分支三个分支。

4.根据权利要求3所述的基于注意力全景感知引导的深度补全方法，其特征在于，所述颜色引导SC分支以及全景分割语义引导SP分支均采用密集跳跃连接的编码器-解码器网络架构，

其中，编码器包括一个卷积层和五个Resnet块，在卷积层和Resnet块后面还包括六个B-T块构成另外一条支路；

解码器包括一个卷积层和五个转置卷积层，对输入数据进行上采样，并对各层解码器的特征进行融合。

5.根据权利要求4所述的基于注意力全景感知引导的深度补全方法，其特征在于，所述步骤S3中，将所述RGB图像数据、全景分割图像数据以及稀疏深度图像数据输入至所述3U-DenseNet网络，包括：

将所述RGB图像数据以及稀疏深度图像数据输入至所述颜色引导SC分支，获得具有场景的颜色线索的颜色密集深度图SC-Depth数据；

将预测的SC分支的颜色密集深度图SC-Depth数据以及全景语义图像和稀疏深度图像数据输入至全景分割语义引导SP分支，获得全景语义深度数据；

将稀疏深度图像数据、颜色密集深度图SC-Depth数据以及全景语义深度数据输入至深度引导3S分支，获得密集深度图数据。

6.根据权利要求5所述的基于注意力全景感知引导的深度补全方法，其特征在于，所述将所述RGB图像数据以及稀疏深度图像数据输入至所述颜色引导SC分支，获得具有场景的颜色线索的颜色密集深度图SC-Depth数据，包括：

将RGB图像数据以及稀疏深度图像数据以串联的方式输入所述颜色引导SC分支，输出颜色密集深度图SC-Depth数据。

7.根据权利要求5所述的基于注意力全景感知引导的深度补全方法，其特征在于，所述将预测的SC分支的稠密深度图以及全景语义图像和稀疏深度图输入至传递给全景分割语义引导SP分支，获得全景语义深度数据，包括：

将SC分支的解码器特征通过MMTSAFB融合到对应的SP分支的编码器特征中；SP分支以颜色密集深度图SC-Depth数据、全景语义图像和稀疏深度图的拼接作为输入，输出SP密集深度图，所述SP密集深度图为全景语义深度数据。

8.根据权利要求7所述的基于注意力全景感知引导的深度补全方法，其特征在于，所述将稀疏深度图像数据、颜色深度数据以及全景语义深度数据输入至3S分支，获得密度深度图数据，包括：

将来自SC和SP分支的解码器特征通过多模态注意力融合模块MMTSAFB融合到相应的3S分支的编码器特征中；其中，在3S分支中，MMTSAFB以三种模式的特征映射作为输入输出细化融合的特征映射。