[发明专利]一种基于深度学习的双目视觉深度信息获取方法

摘要

本发明公开了一种基于深度学习的双目视觉深度信息获取方法，属于立体视觉技术领域，该方法包括以下步骤步骤1训练数据的获取；步骤2标注原始数据集，生成训练数据；步骤3对获取的图像和深度信息进行深度学习网络训练；步骤4获得深度图输出；本发明是计算双目左右图像相互关联的亮度信息，利用大量的图像和深度信息进行训练和学习，获得双目图像的视差的数据模型，并在实际获取双目信息之后，根据训练的模型，快速准确的获得当前场景的立体信息，从而成功获取深度。该方法将深度获取的计算量转移到训练过程，硬件轻量化，无需激光与能量，成本较低，简单易用,方便进行扩展。本发明无需发出主动能量，且适用于室内和世外的场景。

主权项

一种基于深度学习的双目视觉深度信息获取方法，其特征在于，包括如下步骤：步骤1：训练数据的获取；首先，获取N对双目视觉系统拍摄的图片对{Pi|i＝1,2,…,N}，每个图片对Pi包括左侧相机拍摄的左图和右侧相机拍摄的右图其中上标i代表图片次序；同时获取与每个图片对Pi对应的深度图Di；将图片对和每个图片对Pi对应的深度图构成原始的数据集{Pi，Di|i＝1,2,…,N}。步骤2：标注原始数据集，生成训练数据；每幅深度图Di上选取M个特征像素点{DPi(xj，yj，zj)|j＝1,2,…,M}，并分别在左右图中找出其对应的像素点的坐标{PTleft(xj，yj),PTright(xj，yj)|j＝1,2,…,M}；每个图像对Pi上包含M组数据{DPi(xj，yj，zj),PTleft(xj，yj),PTright(xj，yj)|j＝1,2,…,M}；总共的训练样本有M×N组。步骤3：对获取的图像和深度信息进行深度学习网络训练；利用M×N组数据{DPi(xj，yj，zj),PTleft(xj，yj),PTright(xj，yj)|j＝1,2,…,M}以及原始的左右图像数据{Pi|i＝1,2,…,N}，进行深度学习网络训练，得到网络模型Modelx；以每个左右图对应点PTleft(xj，yj),PTright(xj，yj)为中心，截取宽高分别为Wx,Wy的图片对，将截取的图片对与对应点的图像坐标作为深度学习网络输入，其对应的深度信息三维坐标{DPi(xj，yj，zj)|j＝1,2,…,M，i＝1,2,…,N}作为监督输出。步骤4：获得深度图输出；对双目相机拍摄的图片对以每个左右图对应点为中心，截取宽高分别为Wx,Wy的图片对，将截取的图片对与对应点的图像坐标CPleft(x,y),CPright(x,y)输入到步骤(3)训练得到的网络模型Modelx中，从而获得对应的深度图输出。