[发明专利]一种基于卷积残差学习的单目图像深度估计方法和系统

说明书

本发明公开了一种基于卷积残差学习的单目图像深度估计方法和系统，属于图像处理领域。利用预训练的致密神经网络对单目二维图像进行多尺度特征提取；将提取的多尺度特征通过特征金字塔结构和反卷积操作进行融合；将融合得到的多尺度特征通过上采样得到初始深度图；最后将初始深度图和原始参考图像串接进行卷积操作学习深度残差，生成细化的深度预测图像。本发明在深度图估计中引入特征金字塔结构，充分考虑图像的多尺度特征，利用反卷积操作对多尺度特征进行上采样。另外，将通过反卷积得到的初始深度图像和原始的参考图像连接来学习深度残差，然后再将初始深度图添加回来以生成细化的深度信息图，使得到的预测深度图像信息更丰富，细节更明显。

技术领域

本发明属于图像处理领域，更具体地，涉及一种基于卷积残差学习的单目图像深度估计方法和系统。

背景技术

通过从深度图中重建模型网格，是目前深度图融合算法中重建效果最好的方法之一。对每个运动视角下捕获的RGB图像估计其对应深度值，直接影响到基于深度图融合的三维目标重建的效果，因此，利用构建一个高效准确的深度图预测网络框架进行三维目标重建具有很大的研究意义。

全卷积网络模型简单来说，就是包含编码-解码(Encoder-Decoder)两个模块，通过编码网络模块对单目图像提取特征，再利用一系列串联的上反卷积层作为解码网络预测图像深度信息。因此，在全卷积网络中如何从二维RGB图像中提取足够的结构特征信息和准确预测像素深度信息是图像深度估计尤其关键的步骤。

王泉德等人2020年提出一种端对端训练的单目图像深度估计网络模型，该模型加入了由图像编码器各层到对应图像解码器各层的跳层结构，实现多尺度的特征融合。但是其使用跳层结构进行多尺度特征融合，并直接利用反卷积得到深度图，该方法存在结构细节信息丢失、预测误差大等问题。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于卷积残差学习的单目图像深度估计方法和系统，其目的在于通过将反卷积得到的初始深度图像和大小调整后的参考图像连接来学习深度残差，然后再将初始深度图添加回来以生成细化的深度信息图。

为实现上述目的，按照本发明的第一方面，提供了一种基于卷积残差学习的单目图像深度估计方法，该方法包括：

训练阶段：采用训练集训练深度估计模型，所述训练集中的训练样本为单目图像，标签为对应深度图；所述深度估计模型包括：

致密神经网络，用于提取多尺度特征，其输入为单目图像，输出为N个尺度不同、通道数不同的特征图，N个特征图按照特征尺度从大到小依次为第一特征图C₁、第二特征图C₂、…、第N特征图C_N，这些特征图由下而上，通道增加一倍并且尺度减小一倍；

多尺度特征融合模块，用于利用特征金字塔对N个特征图进行融合，其输入为N个尺度不同、通道数不同的特征图，输出为多尺度融合特征图；

上采样优化模块，用于利用反卷积层对多尺度融合特征图进行上采样操作，其输入为多尺度融合特征图和原始单目图像，输出为与原始单目图像尺度相同的初始深度图像；

卷积残差学习模块，用于将初始深度图像和原始单目图像连接为特征向量，利用四个串联的卷积层对连接后的特征向量进行深度残差学习，得到轮廓特征图，然后将初始深度图与轮廓特征图相同位置的像素直接相加，其输入为初始深度图像和原始单目图像，输出为相加得到的优化深度图；

应用阶段：将目标单目图像输入至训练好的深度估计模型，得到目标单目图像的优化深度图。