[发明专利]一种基于双目摄像头的路面坑洼检测和避让方法及系统

权利要求书

1.一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：包括以下步骤：

S1、读取双目摄像头同一时刻所得左右图像，对其进行预处理，降低图像噪声，增强边缘轮廓，将预处理后的图像输入到利用路面数据集训练好的ROI分割模型中，提取图中ROI即图中车辆可行驶区域；

S2、利用路面坑洼数据集训练坑洼区域分割模型，并对处理好的左右图像分别进行坑洼区域分割，提取路面坑洼区域分割结果；

所述步骤S2中的具体的步骤如下：根据步骤S1所得左右图像的ROI二值图像修改原图，将原图中非ROI区域的像素值改为(0,0,0)之后分别输入到利用路面坑洼数据集训练坑洼区域分割模型中，提取出路面坑洼区域；

S3、结合摄像机安装高度、角度与摄像机参数信息与路面坑洼区域分割结果，计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离；

所述步骤S3中的具体的步骤如下：

步骤1、标记左图的边缘点对应点E_l；然后在极线上利用SSIM算法滑动窗口搜索双目成像右图中与E_l最相似的点E_r；

所述步骤1具体操作如下：

步骤1.1、首先计算窗口中所有像素点的平均灰度：

,

是两个图像采样窗口中的灰度；N是采样窗口中像素点总个数，i是像素点序数，i∈[1,N]，，分别是两个图像采样窗口中所有像素点的平均灰度；

步骤1.2、然后使用标准差无偏估计来计算窗口的对比度：

其中与为两个窗口的灰度的标准差；

步骤1.3、最后计算SSIM指数：

其中、为常数，优选，，L为图像灰度级数，K是常数，对于8-bit灰度图像，,,；

步骤1.4、得到SSIM指数最大的两个点E_l与E_r：

步骤2、利用步骤1中的SSIM指数最大的两个点E_l与E_r，计算双目摄像头的两图像的视差得到边缘点P的三维坐标，最后生成坑洼的深度图：

其中，z表示空间点P离相机的距离，x表示空间点P在极平面上的横向坐标，y表示空间点P在极平面上的纵向坐标，f表示相机的焦距，t表示双目摄像头两成像中心的水平距离，与表示空间点P在左成像面和右成像面上的坐标；

步骤3、根据得到的路面坑洼区域深度图，求出路面坑洼区域宽度：

，

其中与表示在深度图中坑洼的左右边缘点，表示坑洼的宽度；

步骤4、求出车辆与路面坑洼相距距离：

其中为最大的深度坐标，为车辆与路面坑洼相距距离；

S4、根据计算所得路面坑洼区域宽度以及车辆与路面坑洼区域相距距离进行避让判断。

2.根据权利要求1所述的一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：所述步骤S1中的预处理步骤包括：将双目摄像头同一时刻所得左右图像，利用高斯滤波器进行平滑，对平滑后的图像求导获取梯度图像，再将平滑后图像和梯度图像加权相加，增强图像中景物的边缘和轮廓。