[发明专利]基于无监督深度学习的单目图像景深实时计算方法

摘要

本发明公开一种基于无监督深度学习的单目图像景深实时计算方法，利用双目序列图像之间的几何约束关系构造监督信号，取代传统的人工标记数据集，完成了无监督算法设计；在Depth‑CNN网络中的，损失函数除了考虑图像之间的几何约束，还设计了针对左右图像的景深估计结果一致性约束项，提高算法精确度；以Depth‑CNN的输出作为Pose‑CNN输入的一部分，构造整体的目标函数，同时使用双目图像之间的几何关系和序列图像之间的几何关系构造监督信号，进一步提高的算法的精确度以及鲁棒性。

主权项

1.基于无监督深度学习的单目图像景深实时计算方法，其特征是，包括步骤如下：步骤1、使用无人驾驶数据集KITTI中的双目序列图像作为输入数据，并通过数据预处理将双目序列图像分类为两种类型，即用于景深估计卷积神经网络的立体图像对和用于相机姿态估计卷积神经网络的序列图像；步骤2、基于残差网络建立景深估计卷积神经网络，构造一个端到端系统，以立体图像对作为输入，输出对应的景深估计图像，设计景深估计卷积神经网络对应的损失函数用于反馈传播；步骤3、基于卷积神经网络模块建立相机姿态估计卷积神经网络，构造一个端到端系统，以序列图像和景深估计图像作为输入，输出序列图像之间的姿态变化矩阵，设计相机姿态估计卷积神经网络对应的损失函数用于反馈传播；步骤4、基于步骤2所设计的景深估计卷积神经网络对应的损失函数和步骤3所设计的相机姿态估计卷积神经网络对应的损失函数，构造目标函数；步骤5、基于步骤2的景深估计卷积神经网络和步骤3的相机姿态估计卷积神经网络完成深度神经网络的搭建，并基于步骤4完成目标函数的设计后，利用步骤1所得无人驾驶数据集KITTI中全部数据对深度神经网络中的景深估计卷积神经网络和相机姿态估计卷积神经网络进行同时训练，以固定深度神经网络的网络参数值和网络结构，得到最终的计算模型；步骤6、将摄像头实际所得到的单目图像输入到步骤5所得到的计算模型中，则计算模型的输出即为图像对应的场景景深图像。