[发明专利]一种基于视觉融合的行人检测方法

权利要求书

1.一种基于视觉融合的行人检测方法，其特征在于包括以下步骤：

步骤(1)利用双目摄像机采集图像，对图像进行预处理，利用累积概率霍夫变换检测车道线，根据车道线交点确定道路消失点，以道路消失点纵坐标所在直线完成行人目标检测ROI分割；

步骤(2)在单目摄像机采集的视频图像中利用基于SSD深度学习模型的目标检测方法检测ROI图像，确定行人目标所在矩形区域，在双目摄像机采集视频图像中计算ROI图像原始视差图，提取U-V视差图，分析到目标区域，与基于SSD深度学习模型的单目视觉目标检测结果相融合，根据视觉融合规则得到最终目标检测结果；

步骤(3)基于U-V视差图的行人目标测距方法处理U-V视差图得到行人目标左部分、右部分、上部分、下部分视差，计算4部分视差平均值得到目标区域视差，利用三角测量原理计算出目标与自车距离。

2.如权利要求1所述的行人检测方法，其特征在于：步骤(1)具体为：利用累积概率霍夫变换检测车道线，进而根据车道线交点计算得到的道路消失点，最后通过道路消失点确定道路消失线分割原始行车视频图像，完成车辆与行人目标检测ROI分割，其中，车道线检测分为3步：高斯滤波、Canny边缘检测、累积概率霍夫变换直线检测。

3.如权利要求1所述的行人检测方法，其特征在于：步骤(2)具体为：在KITTI数据集上进行对行人识别的训练，利用训练集训练SSD模型，利用验证集进行测试，根据测试结果进行优化，SSD模型的损失函数，包括分类损失函数与回归损失函数，称为联合损失函数，定义为：

式中N是待预测anchor的个数，α是权重调节参数，一般取1；

根据左目、右目摄像机图片中的像素匹配得到原始视差图后，搜寻其中最大视差值d_max，原始视差图的d_max+1作为V视差的长度，像素行数作为V视差的宽度，原始视差图的d_max+1作为U视差的宽度，像素列数作为U视差的长度；

假设左右摄像机的焦距均为f，则视差计算公式为：

式中(u_l,r,v)是物点(X_W,Y_W,Z_W)在左目、右目摄像机投影的像点坐标。

4.如权利要求1所述的行人检测方法，其特征在于：步骤(3)具体为：

已知双目相机焦距f，基线距离b，依据三角测量原理公式可计算出目标距自车距离，世界坐标系中物点(X_W,Y_W,Z_W)在左目、右目摄像机图像像素坐标系上投影的像点坐标分别为(u_l,v_l)，(u_r,v_r)，世界坐标系中物点在Z_W轴方向距摄像机坐标系原点O距离，即物点在摄像机光轴方向距摄像机距离为：

式中，b为双目摄像机基线距离，d为视差，f_x是以像素单元长度表示的双目摄像机焦距。