[发明专利]一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法

摘要

本发明公开了一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法，属于交通车辆主动安全技术领域。其主要步骤：当检测到载重货车倒车时，启动安装于车尾两端的两个已经完成标定和校正的红外鱼眼摄像头同步采集倒车环境图像信息，输出经过拼接处理后的倒车图像，在驾驶室内的显示屏幕上显示。通过双目鱼眼视觉系统获取要追踪的障碍物目标的初始位置和距离，然后利用与低秩矩阵理论相结合的基于粒子滤波的视频目标跟踪算法，实现对障碍物的追踪，在追踪过程中，对图像模板进行实时更新，检查是否有新的障碍物。当检测到车辆拐弯时，启动超声波雷达检测货车旁边一米范围内有障碍物，则显示障碍物位置并发出预警。主要用于大型货车。

主权项

一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法，包括以下步骤：步骤一、对双目鱼眼摄像头进行标定首先进行单目标定，获取摄像机内参数和外参数，标定板特征提取的流程为：1)、平滑滤波，用5×5模板对图像进行Gauss滤波，消除噪声影响；2)、边缘检测，利用Canny算子进行边缘检测；3)、轮廓线搜索，Canny边沿检测得到的图像中，对每一行搜索最左边和最右边的两个边缘点(x_left,y_left)和(x_right,y_right)，并依据成像区域的左右对称性对每行两个边缘点的有效性进行验证：L＝|x_right+x_left‑W|其中，W为图像宽度，如果L小于某个阈值T，视为该椭圆是一个有效特征椭圆，否则予以抛弃；4)、椭圆参数拟合，利用基于最小二乘法的特征参数拟合算法对每个轮廓的像素点进行椭圆拟合，得到能够表征鱼眼视觉成像区域边界的椭圆参数，将拟合得到的椭圆圆心(x₀,y₀)作为特征点；5)、鱼眼摄像头内外参数确定，根据摄像机坐标矩阵投影模型和旋转、平移变换和单应性原理以及畸变校正公式，可以求得摄像机的内参数和外参数；根据两个摄像机之间的相对位置关系，利用两个单目摄像机的外参数，可求得两个摄像机之间的旋转矩阵和平移向量；步骤二、双目鱼眼摄像头畸变校正利用基于球面透镜投影约束的鱼眼校正方法进行矫正处理，并用双线性插值法对校正后的图像进行填充，为鱼眼摄像头障碍物识别的实现做准备工作，调整摄像机间的角度和距离，使双目图像处于共面且严格行对齐状态，输出行对准的校正图像；步骤三、双目鱼眼图像区域拼接完成图像的校正和无畸变处理后，先对双目鱼眼视觉系统采集的两幅图像进行匹配，使用SIFT算法来提取和匹配图像的特征点，利用RANSCA算法和L‑M算法对投影变换矩阵进行迭代精炼，引导互匹配方法消除错误匹配；然后对图像进行融合，采用加权平滑算法完成图像融合与拼接，最终显示180°宽视角的倒车图像；其特征在于：步骤四、判断障碍物初始位置以及距离利用无畸变，已经校正好的双目鱼眼视觉系统和已知的特征点以及基于极线约束的双目视差获取方法获取视差值之后，就可以通过相似三角形计算出距离信息Z：即:其中x^l和x^r分别为障碍物在左右摄像机成像仪上的水平位置，T为两台摄像机之间的距离，f为焦距；倒车时图像信息处理模块利用三角测距法计算出每一帧图像中距离车尾最近的障碍物位置和距离信息Z，同时在视差图中找到连续帧图像中面积最大的障碍物，将满足以上两点的障碍物作为追踪的初始位置；步骤五、基于低秩矩阵的障碍物跟踪根据步骤四中得到的障碍物的初始位置需要对每一帧图像进行计算，将低秩矩阵的计算方法引入到基于粒子滤波的视频目标跟踪算法中，可减小算法的计算量，提高计算速率，实现对障碍物的及时跟踪，同时，对载重货车驾驶员发出提示音，在追踪障碍物的过程中，对图像模板进行实时更新，检查是否有新的障碍物；步骤六、超声波雷达监测障碍物在货车车厢两侧各安装六个等距的超声波雷达，设定波速发散角为60°；当检测到方向盘转动，货车转弯时，启动超声波雷达开始检测货车两侧的障碍物，若检测到有车辆或行人时，显示障碍物位置并发出提醒。