[发明专利]一种基于伪标签融合的双目深度估计方法

说明书

本发明涉及自动驾驶技术领域，具体来说是一种基于伪标签融合的双目深度估计方法，包括通过双目相机获得左右图；对左右图进行立体匹配，计算出深度图作为伪标签；还包括：通过深度图和置信度网络对左右图进行训练，获得深度图与置信度图；将深度图、置信度图和立体匹配的深度图结合，放入融合网络；获取融合后的深度图，并与真值计算损失函数，反向传播训练模型。本发明所提供的一种基于伪标签融合的双目深度估计方法，既能保留深度学习方法泛化能力强的优势，又能结合传统方法精度高的优点，使本发明的深度图系统在各场景环境下均能保持良好的精度与鲁棒性。

技术领域

本发明涉及自动驾驶技术领域，具体来说是一种基于伪标签融合的双目深度估计方法。

背景技术

NHTSA将无人驾驶技术分为6个等级，分别是0-5，其中L0为全人工控制的一般车辆，L1级别又称辅助驾驶，可以实现简单的加减速，L2级别又称部分自动驾驶，可以实现L1级别的所有内容的同时还能实现自动泊车，而L4、L5级别都能实现全自动驾驶，区别在于L4级别只能在特定的道路和天气下实现全自动驾驶而L5级别可以适应全地形和全气候。深度估计是无人驾驶的重要技术，在自动驾驶过程中的障碍物检测，测距，三维目标检测都有着重要的应用。获取障碍物的距离信息，可以通过激光雷达，红外，单目相机，双目相机等多种传感器。相机是自动驾驶中最常见的传感器，单目相机进行深度估计很难获得尺度信息，且动态物体会对单目深度估计造成很大的挑战，双目相机可以利用左右目的基线信息恢复尺度，但现有技术中，由于光线和场景影响，基于视觉的双目深度图估计不够往往鲁棒。

传统方法通过寻找双目图像左右帧匹配点，计算匹配点数视差，再根据视差和基线距离来获得深度，比如专利号：TW1069348288B，将双目图像提取匹配点，之后计算视差，从而恢复出深度图，但这种方法对光照和场景纹理比较敏感，在光照条件差或者纹理稀缺的场景中不够鲁棒；基于深度学习的双目深度估计主要通过神经网络获取左图的视差图，再将左图通过视差图投影到右图并与真实右图做差来训练模型，但是这种方案对于一些不在训练数据中的场景不够鲁棒，且由于投影误差的存在，会导致深度图精度存在误差。因此需要在现有技术的基础上，提出一种能结合传统方法的精度与深度学习方法鲁棒性的方法。

发明内容

本发明的目的在于解决现有技术的不足，提供一种基于伪标签融合的双目深度估计方法，并将传统方法与深度学习结合，提高深度图的精度与鲁棒性。

为了实现上述目的，设计一种基于伪标签融合的双目深度估计方法，包括以下步骤，通过双目相机获得左右图；对左右图进行立体匹配，计算出深度图作为伪标签；

所述方法还包括：通过深度图和置信度网络对左右图进行训练，获得深度图与置信度图；将深度图、置信度图和立体匹配的深度图结合，放入融合网络；获取融合后的深度图，并与真值计算损失函数，反向传播训练模型。

本发明还具有如下优选的技术方案：

进一步的，所述方法具体如下：

步骤a.获得双目相机采集的左右视图；步骤b.深度学习神经网络包括获得深度图模型与置信度模型，输入左右图并通过深度图模型获得图像中每个像素点的深度，利用该深度与深度图真值构建损失函数；步骤c.将左右视图用双目立体匹配的方法获得深度图；步骤d.将深度学习的深度图、传统方法深度图、置信度图进行叠加，并放入融合网络，得到融合后的深度图，并将融合后的结果与真值构建损失函数；步骤e.将两个损失函数进行加权，反向传播训练模型，多轮训练反向传播后得到最终输出模型；步骤f.在推理阶段，通过训练好的模型预测深度图与置信度，同时计算传统深度图，进行融合得到最后结果。

进一步的，所述步骤b包括如下步骤：通过深度学习训练得到深度图模型与置信度模型后，输入左右图给深度图模型并获得当前帧左图的深度图D1，以及该深度图对应的置信度图，然后将深度图与真实深度图构建损失函数：loss1=L1(D1,Dgt)，其中，L1()表示L1loss ，Dgt表示该帧图像对应的深度图真值，D1表示深度图模型得到的深度图。