[发明专利]一种基于卷积残差学习的单目图像深度估计方法和系统

权利要求书

1.一种基于卷积残差学习的单目图像深度估计方法，其特征在于，该方法包括：

训练阶段：采用训练集训练深度估计模型，所述训练集中的训练样本为单目图像，标签为对应深度图；所述深度估计模型包括：

致密神经网络，用于提取多尺度特征，其输入为单目图像，输出为N个尺度不同、通道数不同的特征图，N个特征图按照特征尺度从大到小依次为第一特征图C₁、第二特征图C₂、…、第N特征图C_N，这些特征图由下而上，通道增加一倍并且尺度减小一倍；

多尺度特征融合模块，用于对N个特征图进行融合，其输入为N个尺度不同、通道数不同的特征图C₁～C_N，输出为多尺度融合特征图，具体包括：

特征金字塔网络，其输入为N个尺度不同、通道数不同的特征图C₁～C_N，输出为N个通道数相同、尺度不同的特征图，金字塔自下而上依次为第一金字塔融合特征图P₁、第二金字塔融合特征图P₂、…第N金字塔融合特征图P_N；

反卷积特征融合模块，用于利用反卷积层对每个金字塔融合特征图进行上采样操作，得到N个通道数相同、尺度相同的反卷积融合特征图S₁、S₂…S_N后，将反卷积融合特征图S₁、S₂…S_N沿特征通道维度进行连接，并利用卷积层对连接后的特征图进行平滑操作，其输入为N个金字塔融合特征图，输出为平滑得到的1个指定通道数的多尺度融合特征图；

上采样优化模块，用于利用反卷积层对多尺度融合特征图进行上采样操作，其输入为多尺度融合特征图和原始单目图像，输出为与原始单目图像尺度相同的初始深度图像；

卷积残差学习模块，用于将初始深度图像和原始单目图像连接为特征向量，利用四个串联的卷积层对连接后的特征向量进行深度残差学习，得到轮廓特征图，然后将初始深度图与轮廓特征图相同位置的像素直接相加，其输入为初始深度图像和原始单目图像，输出为相加得到的优化深度图；

应用阶段：将目标单目图像输入至训练好的深度估计模型，得到目标单目图像的优化深度图。

2.如权利要求1所述的方法，其特征在于，所述致密神经网络采用DenseNet121网络。

3.如权利要求1或2所述的方法，其特征在于，所述致密神经网络末端不包含池化层和全连接层。

4.如权利要求1或2所述的方法，其特征在于，卷积残差学习模块中的四个串联的卷积层，前面三个卷积层均为conv+BN+ReLU，stride＝1，最后一个卷积层为conv，stride＝1。

5.如权利要求1或2所述的方法，其特征在于，输入的单目图像为单目二维RGB图或者灰度图。

6.一种基于卷积残差学习的单目图像深度估计系统，其特征在于，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至5任一项所述的基于卷积残差学习的单目图像深度估计方法。