[发明专利]一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法

权利要求书

1.一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法，包括以下步骤：

步骤一、对双目鱼眼摄像头进行标定

首先进行单目标定，获取摄像机内参数和外参数，标定板特征提取的流程为：

1)、平滑滤波，用5×5模板对图像进行Gauss滤波，消除噪声影响；

2)、边缘检测，利用Canny算子进行边缘检测；

3)、轮廓线搜索，Canny边沿检测得到的图像中，对每一行搜索最左边和最右边的两个边缘点(x_left,y_left)和(x_right,y_right)，并依据成像区域的左右对称性对每行两个边缘点的有效性进行验证：

L＝|x_right+x_left-W|

其中，W为图像宽度，如果L小于某个阈值T，视为该椭圆是一个有效特征椭圆，否则予以抛弃；

4)、椭圆参数拟合，利用基于最小二乘法的特征参数拟合算法对每个轮廓的像素点进行椭圆拟合，得到能够表征鱼眼视觉成像区域边界的椭圆参数，将拟合得到的椭圆圆心(x₀,y₀)作为特征点；

5)、鱼眼摄像头内外参数确定，根据摄像机坐标矩阵投影模型和旋转、平移变换和单应性原理以及畸变校正公式，可以求得摄像机的内参数和外参数；根据两个摄像机之间的相对位置关系，利用两个单目摄像机的外参数，可求得两个摄像机之间的旋转矩阵和平移向量；

步骤二、双目鱼眼摄像头畸变校正

利用基于球面透镜投影约束的鱼眼校正方法进行矫正处理，并用双线性插值法对校正后的图像进行填充，为鱼眼摄像头障碍物识别的实现做准备工作，调整摄像机间的角度和距离，使双目图像处于共面且严格行对齐状态，输出行对准的校正图像；

步骤三、双目鱼眼图像区域拼接

完成图像的校正和无畸变处理后，先对双目鱼眼视觉系统采集的两幅图像进行匹配，使用SIFT算法来提取和匹配图像的特征点，利用RANSCA算法和L-M算法对投影变换矩阵进行迭代精炼，引导互匹配方法消除错误匹配；然后对图像进行融合，采用加权平滑算法完成图像融合与拼接，最终显示180°宽视角的倒车图像；其特征在于：

步骤四、判断障碍物初始位置以及距离

利用无畸变，已经校正好的双目鱼眼视觉系统和已知的特征点以及基于极线约束的双目视差获取方法获取视差值之后，就可以通过相似三角形计算出距离信息Z：

即:

其中x^l和x^r分别为障碍物在左右摄像机成像仪上的水平位置，T为两台摄像机之间的距离，f为焦距；

倒车时图像信息处理模块利用三角测距法计算出每一帧图像中距离车尾最近的障碍物位置和距离信息Z，同时在视差图中找到连续帧图像中面积最大的障碍物，将满足以上两点的障碍物作为追踪的初始位置；

步骤五、基于低秩矩阵的障碍物跟踪

根据步骤四中得到的障碍物的初始位置需要对每一帧图像进行计算，将低秩矩阵的计算方法引入到基于粒子滤波的视频目标跟踪算法中，可减小算法的计算量，提高计算速率，实现对障碍物的及时跟踪，同时，对载重货车驾驶员发出提示音，在追踪障碍物的过程中，对图像模板进行实时更新，检查是否有新的障碍物；

步骤六、超声波雷达监测障碍物

在货车车厢两侧各安装六个等距的超声波雷达，设定波速发散角为60°；当检测到方向盘转动，货车转弯时，启动超声波雷达开始检测货车两侧的障碍物，若检测到有车辆或行人时，显示障碍物位置并发出提醒。

2.根据权利要求1所述的一种基于双目鱼眼的载重货车行驶障碍物检测及跟踪方法，其特征在于：步骤一中所述的标定板带有椭圆孔，在进行椭圆轮廓线搜索时，设定的阈值为20。

3.根据权利要求1所述的一种基于双目鱼眼的载重货车行驶障碍物检测及跟踪方法，其特征在于：步骤四中所述的判断障碍物初始位置需要同时满足两个条件：一、通过三角测距法确定最近障碍物的位置和距离；二、在视差图中找出连续帧面积最大的障碍物。

4.根据权利要求1所述的一种基于双目鱼眼的载重货车行驶障碍物检测及跟踪方法，其特征在于：步骤四中所述的确定障碍物位置是对每一帧图像而言。

5.根据权利要求1所述的一种基于双目鱼眼的载重货车行驶障碍物检测及跟踪方法，其特征在于：步骤四中所述的在视差图中找出面积最大的障碍物是对连续帧图像而言。