[发明专利]一种基于双目相机的工业车辆预警及避障方法、系统

权利要求书

1.一种基于双目相机的工业车辆预警及避障方法，其特征在于，所述方法包括：

通过双目相机获取工业车辆视野弱区的双目图像并进行校正得到校正双目图像，对所述双目校正图像进行双目立体匹配得到视差图，将所述视差图从图像坐标系转换到世界坐标系得到3D点云图；

基于所述3D点云图标定所述工业车辆行驶的目标地面，获取预留距离信息，以及所述工业车辆的行驶信息和车辆参数，其中，所述行驶信息包括车速、刹车时间、减速时间、削减速度和转向角度，所述车辆参数包括刹车系数、减速系数和车辆轴距，所述预留距离信息包括预留刹车距离和预留减速距离；

根据所述行驶信息、所述车辆参数和所述预留距离信息计算实时刹车距离和实时减速距离，并根据预设范围信息确定预警区域框；

通过目标检测算法获取所述校正双目图像中的行人检测框，分离所述行人检测框中表征人体的3D点得到分离点，并将所述分离点投影到所述目标地面，基于所述投影的结果计算在直行区域或转向区域下，所述行人至所述工业车辆的投影距离数据；

根据所述投影距离数据、所述实时刹车距离和所述实时减速距离，依据预设规则计算并输出预警信息，根据所述预警信息进行实时避障控制。

2.根据权利要求1所述的方法，其特征在于，所述对所述校正双目图像进行双目立体匹配得到视差图包括：

通过代价聚合算法对所述校正双目图像进行立体匹配得到视差图，包括：

通过索贝尔算子执行所述校正双目图像的边缘检测，将所述边缘检测之后的数据映射为预处理图像，获取所述预处理图像的梯度信息；

通过采样方法根据所述梯度信息计算梯度代价，以及基于所述校正双目图像计算SAD代价；

基于实时规划策略，在所述校正双目图像上的每个方向上进行能量积累，并将每个方向上的匹配代价相加得到合并匹配代价；

执行后处理步骤得到所述视差图，其中，所述后处理步骤包括唯一性检测、亚像素插值、左右一致性检测和连通区域检测。

3.根据权利要求1所述的方法，其特征在于，所述将所述视差图从图像坐标系转换到世界坐标系得到3D点云图包括：

对所述双目相机进行立体校正获取重投影矩阵，根据所述重投影矩阵，通过如下公式，将所述视差图从图像坐标系转换到世界坐标系得到3D点云图：

其中，是世界坐标系下的三维坐标，d是所述视差图中的视差信息，c′_x表示双目相机拍摄拍摄的右图像的主点，x，y分别是图像坐标下的数值，c_x、c_y、t_x和f分别是所述重投影矩阵的内参。

4.根据权利要求1所述的方法，其特征在于，所述基于所述3D点云图标定所述工业车辆行驶的目标地面包括：

将所述校正双目图像上的地平面点映射到所述3D点云图上，获取所述地平面点的空间坐标；

基于所述地平面点的空间坐标，通过最小二乘法拟合出所述目标地面的投影参数方程，其中，所述投影参数方程可表示为如下形式：

其中，x，y，z是所述地平面点的空间坐标，A、B和C是方程参数。

5.根据权利要求1所述的方法，其特征在于，所述根据所述行驶信息、所述车辆参数和所述预留距离信息计算实时刹车距离和实时减速距离包括：

通过如下公式计算所述实时刹车距离：

其中，l′_stop是所述实时刹车距离，l_stop是所述刹车预留距离，v是所述车速，t_stop是所述刹车时间，k_stop是所述刹车系数；

通过如下公式计算所述实时减速距离：

其中，l_dec是所述实时减速距离，l_dec是所述减速预留距离，v是所述车速，v_stop是所述削减速度，t_dec是所述减速时间，k_dec是所述减速系数。