[发明专利]一种基于多尺度特征融合的单目深度估计方法

说明书

本发明涉及一种基于多尺度特征融合的单目深度估计方法，属于三维场景感知领域，包括以下步骤：S1：引入Non‑Local注意力机制，构造混合的归一化函数；S2：在特征提取网络的本层特征、深层特征和浅层特征之间引入注意力机制，计算特征图上特征之间的关联信息矩阵；S3：构建多尺度特征融合模块；S4：在解码网络引入空洞空间金字塔池化模块，扩大卷积的感受野，迫使网络学习更多的局部细节信息。本发明有效的实现了特征提取网络分层特征之间跨空间和跨尺度的特征融合，提高了网络学习局部细节的能力并使深度图在重建过程中完成了细粒度的预测，所引入的参数相对于整个网络来说也相对比较低。

技术领域

本发明属于三维场景感知领域，涉及一种基于多尺度特征融合的单目深度估计方法。

背景技术

目前主流的单目深度估计方法分为无监督学习方法和有监督学习方法。无监督学习方法不需要采集真实的深度标签，训练时利用原图像和目标图像构成的立体图像对，首先利用编码器预测原图像的深度图，然后用解码器结合目标图片和预测的深度图重构原图，将重构的图片与原图对比计算损失。有监督学习方法是目前最流行的方法之一，通常利用深度相机或激光雷达采集深度标签，把图像深度估计作为回归任务或者是分类任务进行处理。大多数单目深度估计模型的编码网络由于特征提取不充分及特征提取阶段会丢失空间结构信息，并且由于实际场景结构复杂，普通的局部卷积模块难以考虑特征上下文之间的空间结构关系，造成估计深度图尺度模糊和失真的现象发生。针对这个问题，文献“Chen等人，Structure-aware residual pyramid network for monocular depthestimation.In the International Joint Conference on Artificial Intelligence(IJCAI).2019”提出利用残差金字塔网络构建了多尺度特征融合模块，其通过提取不同尺度的特征，获取结构层次更加明显的深度图，虽然该网络结构的设计能够大幅度的提高图像深度估计的精度，但是其网络模型复杂，计算开销大。文献“Chen等人，Attention-basedcontext aggregation network for monocular depth estimation.2019”使用基于注意力的聚合网络来捕获连续的上下文信息，并集成图像级和像素级上下文信息，但是并不能在多个尺度上的特征之间进行上下文信息的捕获以及空间信息的交互。

综上所述，目前在单目深度估计技术领域存在的问题是：1)在基于深度学习的图像深度估计领域，网络结构大多数采用的是编解码结构，编码网络在进行特征提取阶段会造成特征提取不充分、空间信息丢失等问题，导致网络难以学习图像中的一些细节信息。2)解码网络在对高维的语义特征进行不断的上采样过程中会丢失部分图像特征，导致深度图重建的效果差，不利于细粒度深度图的预测。3)单目深度估计面临的实际场景结构复杂，如果不有效的考虑场景中的空间结构关系，会造成估计的深度图精度不高。

发明内容

有鉴于此，本发明的目的在于提供一种基于多尺度特征融合的单目深度估计方法，针对单目深度估计编码网络特征提取不充分、特征提取阶段容易丢失空间信息导致的网络难以学习更多的细节信息，引入了Non-Local模块，在改进Non-Local的同时构建了基于注意力机制的多尺度特征融合模块。在解码网络中，采用空洞空间金字塔池化模块中的空洞卷积弥补普通局部卷积模块感受野不足，并且极大的解决了深度图重建过程中由于上采样造成的图像特征丢失等问题，提高单目深度估计的精度，解决深度图尺度模糊及失真等系列问题。

为达到上述目的，本发明提供如下技术方案：

一种基于多尺度特征融合的单目深度估计方法，包括以下步骤：

S1：引入Non-Local注意力机制，构造混合的归一化函数；

S2：在特征提取网络的本层特征、深层特征和浅层特征之间引入注意力机制，计算特征图上特征之间的关联信息矩阵；

S3：构建多尺度特征融合模块；