[发明专利]一种基于有监督数据驱动的单目视频深度估计方法

说明书

本发明公开了一种基于有监督数据驱动的单目视频深度估计方法，包括以下步骤：(1)获取样本视频序列以及相应的深度序列，作为训练数据集合；(2)使用基于跟踪的超像素分割方法对训练数据集合进行分割，提取各个分割单元的特征；(3)构建结合卷积神经网络与时空条件随机场的网络模型；(4)使用训练数据集合以及分割结果与相应特征，对深度时空卷积神经网络场模型进行训练；(5)对待估计的视频序列进行分割，提取各个分割单元的特征；(6)将待估计的视频序列以及分割结果与相应特征，输入已经训练好的模型中，得到深度序列。本发明兼顾时空一致性与层次关系准确性，提高了单目立体视频质量。

技术领域

本发明属于模式识别技术领域，具体涉及一种基于有监督数据驱动的单目视频深度估计方法，用于从单目视频中自动地估计视频序列的深度值。

背景技术

随着科技的发展，3D电影、虚拟现实正在丰富着人们的生活。然而，无论是已经风靡全球的3D电影还是当前方兴未艾的虚拟现实都面临一个严重的问题，那就是目前3D资源的匮乏。因此，通过单目视频预测深度，再通过视点合成得到双目立体视频，成为了解决目前3D资源匮乏的主要方法。

在这一技术途径中，单目视频的深度估计作为其重要的组成部分得到了科研人员的广泛关注。目前主要的单目深度预测方法如下：从运动恢复结构(SFM，structure fromMotion)的深度估计方法[Ozden K E,Schindler K,Gool L V.Multibody Structure-from-Motion in Practice[J].Pattern Analysis&Machine Intelligence IEEETransactions on,2010,32(6):1134-1141]、基于信息采集的深度估计法[Karsch K,LiuC,Kang S B.Depth extraction from video using non-parametric sampling[C]//European Conference on Computer Vision.Springer Berlin Heidelberg,2012:775-788]以及基于有监督学习的深度估计方法[Liu F,Shen C,Lin G.Deep convolutionalneural fields for depth estimation from a single image[C]//Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.2015:5162-5170]。运动恢复结构(SFM)的深度估计方法对场景结构的要求高，算法复杂度高，无法应对非刚体运动与变化。基于信息采集的估计方法对于数据库已知或相似的场景可以得到很好的结果，但是对于数据库之外的场景缺乏推断能力。基于有监督学习的深度估计方法是机器学习方法的一种，通过对计算机进行深度训练，使其熟悉场景特征与对应深度值之间的关系，从而对其它输入图像进行深度分配，取得了相当准确的结果。但是目前基于机器学习的深度估计方法主要针对单张图片进行预测，若直接用于单目视频深度估计任务中，得到预测结果的时空一致性较差，无法满足用户的需求。

由上述内容可见，在基于有监督学习的深度估计方法中，预测结果的时空一致程度成为了制约深度序列质量的关键。如果能够兼顾深度序列的时空一致性与深度层次关系的准确性就能够极大地提升预测结果的质量，提供更精彩的3D资源。

发明内容

本发明提供一种基于有监督数据驱动的单目视频深度估计方法，以视频数据对网络进行有监督训练，目的在于克服现有方法中存在的问题，得到兼顾时空一致性与层次关系准确性的深度序列预测结果，以提高单目立体视频的质量。

为了实现上述目的，本发明提供一种基于有监督数据驱动的单目视频深度估计方法，包括以下步骤：

(1)获取样本视频序列以及相应的深度序列，作为本发明的训练数据集合；