[发明专利]一种基于双目视觉的集装箱码头场桥障碍物检测方法

权利要求书

1.一种基于双目视觉的集装箱码头场桥障碍物检测方法，其特征在于，包括如下步骤：

步骤1，由双目相机获取场桥前方行驶龙道的图像，包括左图像L和右图像R，对左右图像进行标定，获得左右相机的内参数I；

步骤2，对左右相机进行标定，获得相机的外参数E；

步骤3，对摄像头所拍摄到的视频的每一帧利用得到的内参数I和外参数E对左图像L，右图像R进行校正，得到校正后的左图像L2、右图像R2；

步骤4，对摄像头所拍摄到的视频的每一帧或每n帧将左图L或L2进行道路线检测：使用Hough变换检测直线，得到两条道路线，划出两条道路线内侧区域A1，并向左右两侧延伸获得预警区域A2；

步骤5，对校正后的左右图像L2、R2进行障碍物检测，得到左右图像的视差图D，得到每个障碍物的类别C及对应框出障碍物的框的大小B1及坐标B2；

步骤6，利用步骤5得到的障碍物框的坐标B2，使用透视变换的方法或者双目测距的方法计算出每个障碍物的距离J；

步骤7，基于步骤5和6得到的障碍物信息C、B1、B2、D进行障碍物追踪，如果障碍物处于预警区并向道路线内侧区域，则进行预警；

步骤8，利用步骤5得到的视差图D进行遮挡判断，判断是否有障碍物较近的遮挡了左或右摄像头，如果有，则报警；

步骤9，利用步骤5得到的障碍物信息B1、B2，判断障碍物是否在道路线内侧区域内，如果在则报警。

2.根据权利要求1所述的方法，其特征在于，步骤1中，双目摄像机以平行的方式正对场桥要行驶的龙道进行安装，双目相机的左右成像平行，左右摄像头都是定焦的，使用标定板用张氏标定法对左右摄像头分别进行标定，分别得到左摄像头的内参数I1和右摄像头的内参数I2。

3.根据权利要求2所述的方法，其特征在于，步骤2中，使用OpenCV中的stereoCalibrate函数对左右摄像头标定，获得左右摄像头的外参数E。

4.根据权利要3所述的方法，其特征在于，步骤3中，使用内参数I1，I2和外参数E对摄像头得到的左右图像进行校正得到校正后的左图像L2、右图像R2。

5.根据权利要求4所述的方法，其特征在于，步骤4中，先将L或L2转为灰度图，然后使用Canny算子检测灰度图图像的边缘得到图像L3；对L3进行霍夫变换直线检测，检测到的直线通过筛选符合要求的长度、角度的线作为道路线，之后根据道路线划出道路线内侧区域A1，并将道路线向左右外延一段距离得到预警区域A2。

6.根据权利要求5所述的方法，其特征在于，步骤5中对校正后的左右图像L2、R2进行障碍物检测分为基于双目的检测和基于单目的深度学习物体检测，对于基于双目的检测，具体步骤如下：

步骤5-1-1：将校正后的左右图像L2、R2，采用并行的SGM算法计算，产生视差图D；

步骤5-1-2：将视差图D根据v视差的方法分割出路面区域，根据u视差的方法检测出障碍物，或者障碍物的框的大小B1和坐标B2；

步骤5-1-3：根据视差图D，将检测出的障碍物通过一个SVM来判断是否是平面，从而去除误检测；

对于基于单目的深度学习物体检测，具体包括如下步骤：

步骤5-2-1，通过训练好的物体检测模型来检测物体，获得障碍物信息C，以及障碍物的框的大小B1和坐标B2；

步骤5-2-2，将步骤5-1-1～5-1-3和5-2-1获得障碍物信息整合，得到完整的障碍物信息。

7.根据权利要求6所述的方法，其特征在于，步骤6中，如果采用透视变换的方法，具体包括：先选取道路线上的四个点经过透视变换投影到一个矩形，再根据障碍物框的底边坐标B2的纵坐标Y1计算出经过透视变换过后的B2的纵坐标Y2，通过乘以一个比例系数K得到障碍物的距离J；

如果采用双目测距的方法，具体包括：对视差图D的每个障碍物的框B进行像素值统计，得到其众数M，再根据双目测距公式得到障碍物的距离J，其中，f是摄像头的焦距，包含在步骤1得到的摄像机内参数中，b是基线长度，即两个摄像头光心之间的距离，z为三维世界坐标系中的z轴坐标，即深度坐标，表示距离。