[发明专利]一种基于双目摄像头的实时深度及置信度的预测方法

说明书

一种基于双目摄像头的实时深度及置信度的预测方法，先构建特定架构的神经网络模型，神经网络模型采用编码加解码的神经网络架构，并准备三个数据集，在分类数据集上训练神经网络的编码部分，再冻结神经网络编码部分的参数，在人工合成的数据集上对神经网络解码部分的参数进行训练，待损失收敛后，解冻神经网络的所有参数，在人工合成数据集上继续训练，真实场景的数据集上对神经网络的参数进行微调，并在测试集上对神经网络进行测试。本发明的神经网络只采用2D卷积，增加了预测置信度的分支，子网络中串联操作聚合多种信息，得到的神经网络模型在低端GPU以及能耗更低的嵌入式设备中有更快的推理速度，并能给出相应的置信度。

技术领域

本发明涉及计算机视觉技术领域，尤其是一种基于双目摄像头的实时深度及置信度的预测方法。

背景技术

视觉深度信息是让计算机理解我们物理世界的一个重要组成部分，对深度进行准确而快速的预测将对无人驾驶、三维重建、建图与定位等各个领域产生积极重要的影响。现有的视觉深度预测方法主要集中在单目摄像头、双目摄像头和激光雷达等设备上，单目摄像头是通过单张图片来预测物体深度的方法，从原则上来说，它无法判别图片中尺寸小的物体是距离摄像头近的小物体还是距离摄像头远的大物体，其尺度不确定，而激光雷达的深度预测方案目前价格高昂，并且只能进行稀疏的深度预测。双目摄像头仿照人眼观察世界的方式，通过计算左图和右图的视差从而重构出物体距摄像头的深度，近年来，随着深度学习方法的改进以及一些优质的基于双目摄像头的数据集陆续推出，如真实场景的数据集kitti、drivingStereo等，也有人工合成数据集sceneflow、vkitti2等，使得通过双目摄像头预测深度的方法在精度上能够媲美价格高昂的激光雷达深度预测方案，并且可以得到比激光雷达更加稠密的深度信息。

然而现有的基于双目摄像头的方案中仍存在三个主要问题，一是实时效果不佳，实时效果差的原因之一是大量使用3D卷积、3D反卷积，使得神经网络的计算量过大，无法达到实时的效果，如CSPN、PSMNet在高端GPU上的推理速度分别为1000和410ms/image，HD3模型没有3D卷积操作，采用的是2D卷积方案，但是其模型冗余不够精简，为了适应预测光流和视差两种任务，一定程度上增加了模型的容量，在高端GPU上的推理速度为140ms/image，第二个现有技术缺陷是在深度预测的同时没有给出相应的置信度，置信度即深度预测的可靠程度，其在下游任务(如无人驾驶中的决策规划)中有着不可或缺的作用，第三个现有技术缺陷则是在预测出的深度图像中，物体的轮廓不够清晰。

发明内容

本发明的目的在于克服现有技术的不足，提供一种解决现有技术中存在的推理速度慢、缺乏相应置信度、物体轮廓模糊等技术问题的基于双目摄像头的实时深度及置信度的预测方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于双目摄像头的实时深度及置信度的预测方法，包括以下步骤：

第一步，构建特定架构的神经网络模型，神经网络模型采用编码加解码的神经网络架构，并准备三个数据集，分别为分类数据集、人工合成的数据集和真实场景的数据集；

第二步，在分类数据集上训练神经网络的编码部分，或选用预训练的分类神经网络，编码部分为特征提取过程，共分五层，每层由若干个卷积层单元构成，每一层提取都会进行下采样，解码部分即视差和置信度的逐级调整，采用模块化、轻量级的子网络来完成；

第三步，冻结神经网络编码部分的参数，在人工合成的数据集上对神经网络解码部分的参数进行训练；

第四步，待损失收敛后，解冻神经网络的所有参数，在人工合成的数据集上继续训练；

第五步，在真实场景的数据集上对神经网络的参数进行微调，并在测试集上对神经网络进行测试；

其中，在人工合成的数据集和在真实场景的数据集上进行参数训练所用的视差损失函数为：