[发明专利]一种基于多传感器融合的自动驾驶车辆3D目标检测方法

说明书

本发明公开了一种基于多传感器融合的自动驾驶车辆3D目标检测方法，该方法是通过自动驾驶车辆上的IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系，并通过神经网络将激光点云数据和相机图像数据的信息进行融合来提取车辆周围的检测目标的类别和3D包围盒。本发明通过激光雷达点云和光学相机图像的多层次深度融合的方式，有效解决当前自动驾驶领域的3D目标检测中小目标检测困难和单一框架检测单一类别的问题，推动自动驾驶车辆落地进程。

技术领域

本发明涉及深度学习和自动驾驶的技术领域，尤其是指一种基于多传感器融合的自动驾驶车辆3D目标检测方法。

背景技术

随着激光雷达、深度相机等3D设备的不断完善普及，使得在现实三维场景下的自动驾驶成为可能，也提高了自动驾驶系统对复杂场景中目标的识别及检测的要求，以达到安全性和便利性的需求。2D目标检测不能满足无人驾驶车辆感知环境的需要，而3D目标检测可以识别物体类别及在三维空间中的长宽高、旋转角等信息，将3D目标检测应用到无人驾驶车辆上，检测出场景中的目标，并通过估计实际位置，自动驾驶的车辆可以准确的预判和规划自己的行为和路径，避免碰撞和违规，能大大降低交通事故的发生以及实现城市交通的智能化。

汽车自动驾驶系统由车辆定位模块的惯性测量系统定位车辆自身的位置，由车辆的感知模块采集周围环境的图像和三维点云并提取场景中的目标的类别、大小、位置和方向等信息，通过决策模块得到驾驶路径规划方案并通过执行模块执行方案。其中对周围环境的准确感知是自动驾驶技术中最大的难点，也是自动驾驶车辆真正落地道路上主要的障碍之一。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于多传感器融合的自动驾驶车辆3D目标检测方法，通过激光雷达点云和光学相机图像的多层次深度融合的方式，有效解决当前自动驾驶领域的3D目标检测中小目标检测困难和单一框架检测单一类别的问题，推动自动驾驶车辆落地进程，可以应对多种场景下的车辆感知环境需要。

为实现上述目的，本发明所提供的技术方案为：一种基于多传感器融合的自动驾驶车辆3D目标检测方法，该方法是通过自动驾驶车辆上的IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系，并通过神经网络将激光点云数据和相机图像数据的信息进行融合来提取车辆周围的检测目标的类别和3D包围盒；其包括以下步骤：

1)获取激光点云数据和相机图像数据；

2)通过多层感知机MLP提取激光点云特征得到点云特征图，同时通过卷积神经网络CNN提取相机图像特征得到图像特征图；

3)通过相机参数获取点云特征图上特征点对应的图像特征图区域，即图像块，并将点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；

4)融合特征图通过神经网络决策层，得到检测目标中体积小的目标的类别和3D包围盒；

5)通过多层感知机MLP对点云特征图提取特征得到中层点云特征图，同时通过卷积神经网络CNN对图像特征图提取特征得到中层图像特征图；

6)通过相机参数获取中层点云特征图上特征点对应的中层图像特征图区域，即图像块，并将中层点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；

7)融合特征图通过神经网络决策层，得到检测目标中体积大的目标的类别和3D包围盒。

在步骤1)中，使用激光雷达采集激光点云数据，使用光学相机采集相机图像数据，通过截取相同时间戳获取对应帧的激光点云和相机图像。