[发明专利]一种基于深度学习的双目视觉深度信息获取方法

权利要求书

1.一种基于深度学习的双目视觉深度信息获取方法，其特征在于，包括如下步骤：

步骤1：训练数据的获取；

首先，获取N对双目视觉系统拍摄的图片对{Pⁱ|i＝1,2,…,N}，每个图片对Pⁱ包括左侧相机拍摄的左图和右侧相机拍摄的右图其中上标i代表图片次序；同时获取与每个图片对Pⁱ对应的深度图Dⁱ；将图片对和每个图片对Pⁱ对应的深度图构成原始的数据集{Pⁱ，Dⁱ|i＝1,2,…,N}。

步骤2：标注原始数据集，生成训练数据；

每幅深度图Dⁱ上选取M个特征像素点{DPⁱ(x^j，y^j，z^j)|j＝1,2,…,M}，并分别在左右图中找出其对应的像素点的坐标{PT_left(x^j，y^j),PT_right(x^j，y^j)|j＝1,2,…,M}；每个图像对Pⁱ上包含M组数据{DPⁱ(x^j，y^j，z^j),PT_left(x^j，y^j),PT_right(x^j，y^j)|j＝1,2,…,M}；总共的训练样本有M×N组。

步骤3：对获取的图像和深度信息进行深度学习网络训练；

利用M×N组数据{DPⁱ(x^j，y^j，z^j),PT_left(x^j，y^j),PT_right(x^j，y^j)|j＝1,2,…,M}以及原始的左右图像数据{Pⁱ|i＝1,2,…,N}，进行深度学习网络训练，得到网络模型Modelx；

以每个左右图对应点PT_left(x^j，y^j),PT_right(x^j，y^j)为中心，截取宽高分别为W_x,W_y的图片对，将截取的图片对与对应点的图像坐标作为深度学习网络输入，其对应的深度信息三维坐标{DPⁱ(x^j，y^j，z^j)|j＝1,2,…,M，i＝1,2,…,N}作为监督输出。

步骤4：获得深度图输出；

对双目相机拍摄的图片对以每个左右图对应点为中心，截取宽高分别为W_x,W_y的图片对，将截取的图片对与对应点的图像坐标CP_left(x,y),CP_right(x,y)输入到步骤(3)训练得到的网络模型Modelx中，从而获得对应的深度图输出。

2.根据权利要求1所述的基于深度学习的双目视觉深度信息获取方法，其特征在于，左右图对应点的确定方法如下：

从左图上任取一点，以该点位中心，切出n×n大小的图像片；采用NCC算法在右图中查找对应点；如果出现大于一个匹配峰值，加大n重新匹配，直至获取唯一的匹配峰值。