[发明专利]基于无监督深度学习的单目图像景深实时计算方法

说明书

本发明公开一种基于无监督深度学习的单目图像景深实时计算方法，利用双目序列图像之间的几何约束关系构造监督信号，取代传统的人工标记数据集，完成了无监督算法设计；在Depth‑CNN网络中的，损失函数除了考虑图像之间的几何约束，还设计了针对左右图像的景深估计结果一致性约束项，提高算法精确度；以Depth‑CNN的输出作为Pose‑CNN输入的一部分，构造整体的目标函数，同时使用双目图像之间的几何关系和序列图像之间的几何关系构造监督信号，进一步提高的算法的精确度以及鲁棒性。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于无监督深度学习的单目图像景深实时计算方法。

背景技术

摄像机由于其低廉的采购价格，实时获取场景完整信息等特点，被广泛应用于服务机器人、自主导航机器人以及无人驾驶汽车的场景感知技术研究中。随着高性能计算设备的发展，使用深度神经网络分析2D图像信息的人工智能技术在无人驾驶以及机器人导航等领域日益发挥着不可替代的作用。其中基于单目图像的场景景深实时计算问题是三维场景感知技术的前提。DavidEigen在2014年首先使用深度神经网络计算2D图像所对应的场景景深，建立了2D到3D的映射关系。

目前，基于单目图像的场景景深计算算法主要分为有监督算法和无监督算法两类。有监督算法需要大量带有人工标记的数据，在文献“D.Eigen,C.Puhrsch,andR.Fergus.Depth map prediction from a single image using a multi-scale deepnetwork.In NIPS,2014.”中，David Eigen提出了使用两个深度卷积神经网络分步骤对图像进行粗估计和精细估计的方法获取场景景深。但是此类人工标记数据多依靠激光扫描仪，采集成本高，且不易获取，使用范围有限。无监督算法仅仅使用针对场景的场景图像作为训练集，应用广泛，在文献“T.Zhou,M.Brown,N.Snavely,and D.G.Lowe.Unsupervisedlearning of depth and ego motion from video.In CVPR,2017.”中，Zhou Tinghui等人使用序列图像作为输入，不需要人工标记即可直接计算场景景深。但是由于深度神经网络仅仅通过大量图像分析场景信息，获取场景景深，精确度无法达到指定要求。

通过对以上问题的分析发现：它们或者需要大量人工标记图像作为训练数据集，或者无法完成精确计算的要求，在细节上存在不同程度的丢失。高精度实时景深计算结果在基于图像的无人驾驶应用场景中具有重要意义，因此，需要开发一种无监督的无人驾驶场景景深实时计算方法。

发明内容

本发明针对室外无人驾驶汽车或无人自主机器人中的三维场景感知问题，人工标记数据集不容易大量获取以及应用场景有限等问题，提供一种基于无监督深度学习的单目图像景深实时计算方法，其仅仅使用无人标记图像作为训练数据集，完成精确、快速估计场景景深的方法。

为解决上述问题，本发明是通过以下技术方案实现的：

基于无监督深度学习的单目图像景深实时计算方法，包括步骤如下：

步骤1、使用无人驾驶数据集KITTI中的双目序列图像作为输入数据，并通过数据预处理将双目序列图像分类为两种类型，即用于景深估计卷积神经网络的立体图像对和用于相机姿态估计卷积神经网络的序列图像；

步骤2、基于残差网络建立景深估计卷积神经网络，构造一个端到端系统，以立体图像对作为输入，输出对应的景深估计图像，设计景深估计卷积神经网络对应的损失函数用于反馈传播；

步骤3、基于卷积神经网络模块建立相机姿态估计卷积神经网络，构造一个端到端系统，以序列图像和景深估计图像作为输入，输出序列图像之间的姿态变化矩阵，设计相机姿态估计卷积神经网络对应的损失函数用于反馈传播；

步骤4、基于步骤2所设计的景深估计卷积神经网络对应的损失函数和步骤3所设计的相机姿态估计卷积神经网络对应的损失函数，构造目标函数；