[发明专利]一种基于双目视觉的障碍物检测与识别方法

权利要求书

1.一种基于双目视觉的障碍物检测与识别方法，其特征在于：包括以下步骤：

1)对双目摄像头进行标定：

首先对左、右摄像头分别进行标定，得到两个摄像头各自的内参矩阵和畸变系数矩阵，然后采用OpenCV中的立体校正算法得到本征矩阵、基础矩阵、旋转矩阵和平移矩阵；

2)生成左摄像头深度图像：

先获得经标定后的双目摄像头的左摄像头图像和右摄像头图像；再通过SGBM立体匹配算法得到左摄像头的视差图，检测出视差图中的空洞区域；再用空洞区域附近可靠视差值的均值对孔洞区域进行填充，从而得到完整的视差图；再根据平行双目视觉的几何关系，得到如下视差与深度的转换公式：

depth＝(f*Tx)/disp

上式中，depth表示深度图；f表示归一化的焦距；Tx是左摄像头光心和右摄像头光心之间的距离，称作基线距离；disp是视差值；最后通过视差与深度的转换公式计算出左摄像头的深度图像；

3)将获得到的双目摄像头的左摄摄像头的图像尺寸裁剪为416*416，再将裁减后的图像输入YOLOv3网络模型，从而得到障碍物在图像中的窗口坐标信息和类别信息；本步骤得到的障碍物在图像中的窗口坐标信息也就是步骤2)深度图像中障碍物的窗口坐标信息；

4)取步骤3)获得的深度图像中障碍物窗口的中心位置的深度值作为障碍物的距离，从而获得障碍物的距离信息。