[发明专利]基于双目立体相机的地形环境检测方法、系统和智能终端

说明书

本发明公开了一种基于双目立体相机的地形环境检测方法、系统和智能终端，所述方法包括：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息；基于所述三维点云信息，拟合路面模型；将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果；根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。其通过监测前方道路的地形情况，提高了自动驾驶车辆的行驶稳定性和舒适性。

技术领域

本发明涉及自动驾驶辅助技术领域，具体涉及一种基于双目立体相机的地形环境检测方法、系统和智能终端。

背景技术

随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。并且，随着深度学习技术的发展，基于深度学习的识别方法在无人驾驶、安防以及工业检测领域都有较多的应用。在自动驾驶过程中，如何监测前方道路的地形情况，判断其是否存在高低起伏以及起伏高度，从而根据实时检测到前方道路环境，反馈给汽车控制系统使其做出相关处理，进而提高驾驶的舒适性和安全性，就成为本领域技术人员亟待解决的问题。

发明内容

为此，本发明实施例提供一种基于双目立体相机的地形环境检测方法、系统和智能终端，以期能够监测前方道路的地形情况，判断其是否存在高低起伏以及起伏高度，从而根据实时检测到前方道路环境，反馈给汽车控制系统使其做出相关处理。

为了实现上述目的，本发明实施例提供如下技术方案：

一种基于双目立体相机的地形环境检测方法，所述方法包括：

获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；

基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息；

基于所述三维点云信息，拟合路面模型；

将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果；

根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。

进一步地，所述基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息，具体包括：

基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；

以真实世界坐标系下的检测区域为基准，在所述稠密视差图中截取检测区域；

根据以下公式，将所述检测区域中的图像信息转换为三维点云信息：

其中，B为双目立体视觉成像系统中左相机光心到右相机光心的间距；

F为双目立体视觉成像系统中的相机焦距；

cx与cy为双目立体视觉成像系统中相机主点的图像坐标；

和是所述检测区域内的图像坐标点；

disp为图像点坐标为（，）的视差值；

X为世界坐标系下三维点距离相机的横向距离；

Y为世界坐标系下三维点距离相机的纵向距离；

Z为世界坐标系下三维点距离相机的深度距离。

进一步地，所述路面模型的方程为：

其中，是路面法矢量与世界坐标系x坐标轴夹角的方向余弦；

是路面法矢量与世界坐标系y坐标轴夹角的方向余弦；

是路面法矢量与世界坐标系z坐标轴夹角的方向余弦；

D是世界坐标系原点到路面平面的距离。

进一步地，训练所述语义分割模型包括以下步骤：