[发明专利]一种基于小波的细节增强无监督深度估计方法

说明书

本发明涉及一种基于视频的无监督深度估计方法，将视频中的某一帧图像输入到深度网络中得到对应的深度图，同时将该帧与相邻的一帧输入到位姿网络中得到相机位姿，同时将图像的小波分解出的高频整合到网络中增强深度细节的信息。本实施例还利用光流估计辨别并处理遮挡区域。训练阶段利用深度图和相机位姿以及原图合成目标帧，通过合成帧与原帧之间计算损失来监督网络的训练。本发明解决了目前深度估计中对于深度图的边界扭曲以及细节的丢失的问题，能很好地从单目视图中估计出对应的深度图。

技术领域

本发明属于图像处理领域，具体地指一种基于视频的无监督单目深度估计方法，仅用单幅RGB图片即可估算出图片中每个像素点对应的深度值。

背景技术

随着计算机技术的飞速发展，计算机视觉领域的热度也达到了前所未有的高度。深度估计能预测出被观察物体与相机之间距离，是计算视觉机版本中的一项基本任务。如今，深度估计已广泛应用于许多计算机前沿技术中，诸如自动驾驶，三维重建，新视图合成，增强现实和MR。深度估计是这些领域感知空间信息的第一步，深度图预测的精确性将直接影响这些领域的最终生成结果。深度图预测地更加精确能极大促进相关领域的发展与应用。现如今，一些智能设备上也搭载了估计场景中深度信息的传感器，然而这些硬件设备需要耗费大量的成本；基于多视立体几何的深度估计方法需要在多个位置对目标进行拍摄，对拍摄的方式约束限制多，无法满足实际应用的要求。基于深度学习技术，可以从图像线索中推断出图像中物体距离相机的相对远近，非常适用于只需要获取相对距离的应用。基于深度学习的深度估计大体上分为有监督和无监督两种方法。有监督的单目深度估计将深度估计视为数据集导向的问题。这些方法使用彩色图像作为网络模型的输入，并使用相应的深度图作为标签。无监督(自监督)的单目深度估计网络预测一个视图的深度并基于深度合成新视图的图像，并通过其他视图的原始图像计算图像重建误差最小化来约束合成的图像，从而达到网络训练的目的。通过对现有的深度估计方法中存在的问题进行分析，基于小波系数熵的二维单视图像深度估计方法利用传统的算法来进行深度估计，旨在解决二维单视图像深度估计方法的准确度低，以及对不同的边缘类型泛化能力较差的问题，本发明这是将小波分析融合到神经网络中，旨在利用小波分解的高频信息引导神经网络的训练，让网络能在深度细节出得出更准确的结果。本发明的深度估计方法属于无监督类别，特别地提出了包括小波处理与光流处理的深度神经网络模型，能得到更加精确的深度估计结果。

发明内容

本发明提供了一种基于视频的无监督深度估计方法，旨在解决现有的深度估计方法中深度图中物体的深度细节不够清晰，视频中物体的运动会产生像素的遮挡的问题。

根据本发明的基于单目深度估计的基本框架，其包括深度图的生成，相机位姿的估计，视频中前后帧视图的合成，计算损失做反向传播进行网络的训练以及利用训练好的神经网络进行深度图的预测本发明在训练的时候网络输入的是多幅图像，在测试的时候输入的是单幅图像。