[发明专利]基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法

说明书

一种基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法，旨在有效解决在复杂场景中复杂纹理和复杂几何结构造成的局部细节信息丢失、物体边界扭曲等问题，显著提升图像深度估计的精度。包括：获得待估计图像；由编码器部分提取包含位置信息的低级特征；将提取的特征通过预测得到预测深度图和四个残差深度图；对得到的预测深度图进行上采样得到上采样深度图；由解码器部分对得到的残差深度图和上采样深度图进行处理和融合，得到最终的深度图。实验结果表明，本发明方法中的网络模型在总体上有一定的提升，在物体边界和局部细节具有较好的性能，能够更好地预测复杂场景中物体边界和局部细节的深度信息。

技术领域

本发明属于计算机视觉(虚拟现实)中的图像深度估计领域，具体涉及一种基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法。

背景技术

图像深度估计在虚拟现实领域取得了一系列丰富的研究成果，是计算机视觉领域中一项重要的研究课题。深度信息是理解一个场景三维结构关系的重要组成部分，准确的深度信息能够帮助我们更好地进行场景理解。单目图像的获取对设备数量和环境条件要求较低，通过单目图像进行深度估计更贴近实际情况，应用场景更广泛。深度学习的迅猛发展，使得基于卷积神经网络(Convolutional Neural Network，CNN)的方法在单目图像深度估计领域取得了一定的成果，成为图像深度估计领域的研究热点。

专利【申请号：CN106157307A】提出了一种基于多尺度卷积神经网络和连续条件随机场的单目图像深度估计方法，其利用条件随机场模型根据深度卷积神经网络的输出深度图计算单点势能，根据输入RGB图像计算成对稀疏势能，最后用最大化后验概率算法推导出优化的深度图。该方法能够以较高的精确度估计出深度图，又能使得到的深度图轮廓清晰；该方法所估计的深度有比较高的分辨率，而且所得到的深度图能保留场景中所有对象的深度细节信息，具有更好的视觉效果。但是模型不统一，且耗时长。

专利【申请号：CN109410261A】中提出了一种基于金字塔池化模块的单目图像深度估计方法。该方法在训练阶段先构建神经网络，其包括输入层、隐含层和输出层；隐含层包括单独的第一卷积层、特征提取网络框架、尺度恢复网络框架、单独的第二卷积层、金字塔池化模块、单独的连接层；再将训练集中的每幅原始的单目图像作为原始输入图像，输入到神经网络中进行训练，并通过计算训练集中的每幅原始的单目图像对应的预测深度图像与对应的真实深度图像之间的损失函数值，得到训练好的神经网络模型的最优权值矢量和最优偏置项；在测试阶段，将待预测的单目图像输入到神经网络模型中，并利用最优权值矢量和最优偏置项进行预测，得到预测深度图像；优点是计算复杂度低。但是仍然存在的不足是，该方法预测精度还不够高，无法应用于实际场景。

专利【申请号：CN109741383A】公开了一种基于空洞卷积和半监督学习的图像深度估计系统与方法，解决了从单幅图像中估计场景深度的问题。该方法对现有的编码器-解码器的网络结构模型进行了改进，在编码器模块和解码器模块之间加入了空洞卷积模块。该方法具有参数模型小，预测精度高的特点，但容易丢失细节信息。可应用于图像三维重建、自动驾驶等领域。

专利【申请号：CN110189370A】发明了一种基于全卷积密集连接神经网络的单目图像深度估计方法，通过构建四组密集连接模块+连接模块+下采样模块、一个15层的密集连接块以及四组上采样模块+连接模块+密集连接模块，在不同深度层结果之间采取跳远连接，使得每层网络能感知更多像素的信息。该方法充分利用了每一层的特征图，包含了高低不同等级的特征，从而实现训练出更精确的图像深度，且该方法得到的图像轮廓更加清晰，在一定程度上解决了现有单目图像深度估计方法生成的结果存在的过于平滑现象且不清晰的现象，获得了更为清晰的深度图像，从而提高了图像深度估计的精确度。但该方法无法准确地估计物体的边界部分。