[发明专利]基于双目立体相机的地形环境检测方法、系统和智能终端

权利要求书

1.一种基于双目立体相机的地形环境检测方法，其特征在于，所述方法包括：

获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；

基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息；

基于所述三维点云信息，拟合路面模型；

将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果；

根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。

2.根据权利要求1所述的地形环境检测方法，其特征在于，所述基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息，具体包括：

基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；

以真实世界坐标系下的检测区域为基准，在所述稠密视差图中截取检测区域；

根据以下公式，将所述检测区域中的图像信息转换为三维点云信息：

其中，B为双目立体视觉成像系统中左相机光心到右相机光心的间距；

F为双目立体视觉成像系统中的相机焦距；

cx与cy为双目立体视觉成像系统中相机主点的图像坐标；

和是所述检测区域内的图像坐标点；

disp为图像点坐标为（，）的视差值；

X为世界坐标系下三维点距离相机的横向距离；

Y为世界坐标系下三维点距离相机的纵向距离；

Z为世界坐标系下三维点距离相机的深度距离。

3.根据权利要求1所述的地形环境检测方法，其特征在于，所述路面模型的方程为：

其中，是路面法矢量与世界坐标系x坐标轴夹角的方向余弦；

是路面法矢量与世界坐标系y坐标轴夹角的方向余弦；

是路面法矢量与世界坐标系z坐标轴夹角的方向余弦；

D是世界坐标系原点到路面平面的距离。

4.根据权利要求1所述的地形环境检测方法，其特征在于，训练所述语义分割模型包括以下步骤：

先对道路中所可能出现的地形情况进行分析，并对地形常见场景类别进行分类；

对各类场景进行拍摄，得到多张训练图像；

针对每张训练图像，在目标区域进行标注得到掩码图像，且不同类型的目标区域对应不同的标注特征，以得到每张训练图像所唯一对应的掩码图像；

基于所有训练图像及其对应的掩码图像进行训练，以得到语义分割模型。

5.根据权利要求1所述的地形环境检测方法，其特征在于，根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息，具体包括：

根据分割结果判定所述检测区域为非平坦区域，则将三维点投影至俯视平面，并基于分割结果中离散点的高度信息，生成俯视平面上的高程图；

基于所述高程图计算车轮区域的高程信息。

6.根据权利要求5所述的地形环境检测方法，其特征在于，所述根据分割结果判定所述检测区域为非平坦区域，则将三维点投影至俯视平面，并基于分割结果中离散点的高度信息，生成俯视平面上的高程图，具体包括：

根据所述语义分割模型的分割结果，若分割图像像素值为为1、2和5之外的数值，则判定所述检测区域为非平坦区域；

根据以下公式，计算非平坦区域中分割图像像素值对应的三维点信息到所述路面模型所在平面的距离：

其中，、、和D是路面模型方程的参数；

是离散三维点在世界坐标系下的位置信息；

H是坐标为的离散三维点距离路面的高度；

将三维点投影至俯视平面，并将分割图像像素值不为1、2和5的离散点的高度信息存储在相应位置，以生成俯视平面上的高程图。