[发明专利]基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法

权利要求书

1.一种基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法，其特征在于，该方法涉及的网络模型包括由SENet模块和MFF+MACA模块构成的用于自适应聚合全局上下文信息的编码器部分Encoder以及估计复杂场景结构的残差金字塔解码器部分RRM-Decoder两部分，编码器部分得到残差深度图和预测深度图，经过解码器部分处理得到最终的精细深度图，该方法操作步骤包括：

第1步、获得待估计图像；

第2步、由编码器部分中的SENet模块提取图像中包含位置信息的低级特征；

第3步、编码器部分中的MFF+MACA模块由一个多尺度注意力上下文聚合模块(MACA)和用于将不同尺度提取的特征合并为一个尺度上的信息的四个多尺度特征融合模块(MFF)组成，MFF+MACA模块自适应聚合图像的全局上下文信息；MACA模块提取的特征通过预测得到预测深度图，四个MFF模块通过预测得到四个残差深度图；

第4步、对第3步得到的预测深度图进行双线性插值上采样操作，得到上采样深度图；

第5步、采用RRM-Decoder部分对第3步得到的残差深度图和第4步得到的上采样深度图进行处理和融合，得到最终的深度图。

2.根据权利要求1所述的基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法，其特征在于，所述第3步中的MACA模块包括：空间注意力子模块(Spatial AttentionModule，SAM)和全局注意力子模块(GlobalAttention Module，GAM)。

3.根据权利要求1所述的基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法，其特征在于，四个多尺度特征融合模块MFF分别用于将不同尺度提取的特征合并为一个尺度上的信息，聚合所有特征中的尺度特征，作为每一个尺度预测融合特征图。

4.根据权利要求2所述的基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法，其特征在于，多尺度注意力上下文聚合模块MACA聚合全局上下文信息，其中的SAM子模块将SENet提取的低级特征进行Conv3×3处理后，通过从空间考虑像素的位置相关性，捕获特征的空间上下文信息，与经过GAM子模块处理后的特征进行Sum fusion处理，最后经过Conv3×3处理得到包含全局上下文信息的特征。

5.根据权利要求1所述的基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 ，其特征在于，所述第5步中的估计复杂场景结构的残差金字塔解码器部分RRM-Decoder包括四个增强的残差细化模块RRM，四个RRM用于将经过MACA模块提取的包含全局上下文信息的特征上采样得到的深度图和经过MFF模块提取的包含多尺度特征预测得到的残差深度图通过RRM进行处理和融合，得到当前尺度下的精细深度图。