[发明专利]一种基于深度学习的双目视觉深度信息获取方法

说明书

技术领域

本发明属于立体视觉技术领域，尤其涉及一种基于深度学习的双目视觉深度信息获取方法。

背景技术

近年来，深度信息在传感器中获得了越来越多的应用。获取深度信息的技术主要有双目立体匹配、TOF(Time of Flight，飞行时间)、单目结构光、激光雷达等技术。这些技术可以为传感器增加额外的深度信息，在图像识别与处理、场景理解、VR、AR和机器人等领域有着广泛的应用。然而，当前市面上的主流产品依旧有各自的使用范围和局限性。比如，微软的Kinect(TOF)只能在室内和有限光照的室外场景中使用，而且距离的局限性较大；单目结构光技术需要发出主动能量，同样不适用于室外光照较强的场景；双目立体匹配技术属于计算机立体视觉领域，此技术虽然适用于室内和室外，然而在处理纹理缺失时效果不佳，而且存在精确定焦、计算时间等问题；激光雷达等设备价格相对昂贵，且大部分只能获取二维平面的深度信息。

发明内容

针对上述不足，本发明提供一种基于深度学习的双目视觉深度信息获取方法，本发明的核心是计算双目左右图像相互关联的亮度(色彩)信息，利用大量的图像和深度信息进行训练和学习，获得双目图像的视差的数据模型，并在实际获取双目信息之后，根据训练的模型，快速准确的获得当前场景的立体信息，从而成功获取深度。

为了达到上述目的，本发明所采用的技术方案如下：一种基于深度学习的双目视觉深度信息获取方法，包括如下步骤：

步骤1：训练数据的获取；

首先，获取N对双目视觉系统拍摄的图片对{Pⁱ|i＝1,2,…,N}，每个图片对Pⁱ包括左侧相机拍摄的左图和右侧相机拍摄的右图其中上标i代表图片次序；同时获取与每个图片对Pⁱ对应的深度图Dⁱ；将图片对和每个图片对Pⁱ对应的深度图构成原始的数据集{Pⁱ，Dⁱ|i＝1,2,…,N}；

步骤2：标注原始数据集，生成训练数据；

每幅深度图Dⁱ上选取M个特征像素点{DPⁱ(x^j,y^j,z^j)|j＝1,2,…,M}，并分别在左右图中 找出其对应的像素点的坐标{PT_left(x^j,y^j),PT_right(x^j,y^j)|j＝1,2,…,M}；每个图像对Pⁱ上包含M组数据{DPⁱ(x^j,y^j,z^j),PT_left(x^j,y^j),PT_right(x^j,y^j)|j＝1,2,…,M}；总共的训练样本有M×N组；

步骤3：对获取的图像和深度信息进行深度学习网络训练；

利用M×N组数据{DPⁱ(x^j,y^j,z^j),PT_left(x^j,y^j),PT_right(x^j,y^j)|j＝1,2,…,M}以及原始的左右图像数据{Pⁱ|i＝1,2,…,N}，进行深度学习网络训练，得到网络模型Modelx；

以每个左右图对应点PT_left(x^j,y^j),PT_right(x^j,y^j)为中心，截取宽高分别为W_x,W_y的图片对，将截取的图片对与对应点的图像坐标作为深度学习网络输入，其对应的深度信息三维坐标{DPⁱ(x^j,y^j,z^j)|j＝1,2,…,M，i＝1,2,…,N}作为监督输出；

步骤4：获得深度图输出；