[发明专利]一种基于深度学习的稳定单目视频深度估计方法

说明书

本发明提供了一种基于深度学习稳定的单目视频深度估计方法，利用卷积神经网络强大的拟合能力，通过对大量二维RGB图片数据的学习，结合设计好的损失函数，最终学习出二维RGB图片对应的深度图。本方法完全利用单目视频序列对提出的模型进行训练，训练过程中不需要深度图或者相机位姿的GroundTruth进行监督，是一种完全无监督的方法。相比于现有的基于单目视频的深度估计，其特点是能保证在连续视频帧上估计出来的深度结果是稳定的，帧与帧之间的深度估计结果不会存在较大的不一致的现象。另外对于深度估计中的难点，运动物体的深度估计，也提出了解决的方法。

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于深度学习的稳定单目视频深度估计方法。在没有Ground Truth作为监督的情况下回归出稳定的连续帧的深度图。

背景技术

深度估计是计算机视觉的一项基础性任务，旨在从2D图像中估计深度。这个任务的输入是RGB图像，输出是深度图。这里的深度是指被摄物体到相机光心的距离，而深度估计的要解决的问题就是求解拍摄场景中被摄物体距离相机光心的距离。深度估计有广泛的使用前景和应用价值，如目前研究较为火热的自动驾驶^[1]领域，以及传统的三维重建、增强现实等都需要使用到深度估计的相关技术。

获取深度信息的方法包括使用深度传感器如LIDAR传感器、ToF传感器等，或采用深度估计算法进行求解。使用传感器获取深度图的问题是设备较为昂贵，获取成本比较高，尤其是获得高精度的深度数据。并且传感器采集的深度数据也有范围限制且受制于环境因素。因此如果能通过深度估计的算法解决深度数据的获取问题，将会大大节省数据获取的成本，也有利于相关应用的大范围推广使用。

深度估计算法又可分为传统方法和基于深度学习的方法。传统方法依赖于精准的图像特征点的提取和匹配，这会导致在一些低纹理区域或者场景中存在遮挡以及运动物体的情况下，获取的深度数据就会不那么理想，并且估计的深度图通常是稀疏的。基于深度学习的方法可以很好地解决传统方法的问题，并且能估计出一个稠密的深度结果。基于深度学习的深度估计可以分为有监督深度估计和无监督深度估计，有监督深度估计的问题在于训练的过程中需要大量的真实深度数据作为监督，但是采集这样的真实深度数据需要耗费大量的人力物力，得不偿失。因此无监督的深度估计是目前该方向研究发展的趋势，其中以单目视频序列作为训练数据的深度学习方法以其数据获取的便利性，是所有基于深度学习的深度估计方法中最有前景的一种方法。但是基于单目视频的无监督深度估计目前存在的问题之一是，连续的视频帧之间估计出来的深度并不稳定，这是一个亟待解决的问题，视频序列之间的深度估计保持稳定才有可能带来稳定的基于深度的应用，比如增强现实、三维重建等。

发明内容

为了克服上述不足，本发明提供了一种基于深度学习的稳定单目视频深度估计方法，利用卷积神经网络强大的拟合能力，通过对大量二维RGB图片数据的学习，结合设计好的损失函数，最终学习出二维RGB图片对应的深度图。本方法完全利用单目视频序列对提出的模型进行训练，训练过程中不需要深度图或者相机位姿的Ground Truth进行监督，是一种完全无监督的方法。

目前基于单目视频的无监督深度估计的方法在精度上已经有了很大的进步，并且在单张图片上的测试结果也有很好的可视化结果。但是我们通过对现有的单目视频深度估计的方法进行实验后发现，虽然单张图片能有较好的测试结果，但是在连续的视频帧上的测试结果却存在不稳定的现象，这也是本发明主要想解决的问题。本专利在以下方面进行了创新，一是对连续的深度图提出一个时序平滑项，并由该平滑项构建时序平滑损失，该时序平滑损失用于约束连续深度图之间保持稳定。二是提出一个自发现掩膜(mask)，该mask用于解决场景中运动物体的深度估计。

为实现以上发明目的，一种基于深度学习的稳定单目视频深度估计方法，其特征在于：