[发明专利]一种基于多传感器融合的自动驾驶车辆3D目标检测方法

权利要求书

1.一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：该方法是通过自动驾驶车辆上的IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系，并通过神经网络将激光点云数据和相机图像数据的信息进行融合来提取车辆周围的检测目标的类别和3D包围盒；其包括以下步骤：

1)获取激光点云数据和相机图像数据；

2)通过多层感知机MLP提取激光点云特征得到点云特征图，同时通过卷积神经网络CNN提取相机图像特征得到图像特征图；由于激光点云数据为非欧式结构数据，故使用多层感知机MLP提取激光点云数据的特征，具体操作是：将激光点云划分到多个3D网格中，通过多层神经网络逐步扩大特征点的空间感受野，得到点云特征图；而相机图像数据为欧式结构数据，故使用卷积神经网络CNN提取相机图像数据的特征，具体操作是将相机图像归一化为固定大小，输入卷积神经网络CNN中，得到图像特征图；

3)通过相机参数获取点云特征图上特征点对应的图像特征图区域，即图像块，并将点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；具体操作是：将点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系，得到特征点对应的点云在图像特征图上的映射空间，在图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图；

4)融合特征图通过神经网络决策层，得到检测目标中体积小的目标的类别和3D包围盒，即得到小目标的类别和3D包围盒；

5)通过多层感知机MLP对点云特征图提取特征得到中层点云特征图，同时通过卷积神经网络CNN对图像特征图提取特征得到中层图像特征图；

6)通过相机参数获取中层点云特征图上特征点对应的中层图像特征图区域，即图像块，并将中层点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；具体操作是：将中层点云特征图的特征点重新映射到激光点云原始的3D空间，通过相机参数转换到相机图像坐标系，得到特征点对应的点云在中层图像特征图上的映射空间，在中层图像特征图上截取映射的区域得到一系列图像块，将图像块的特征与对应点云特征点特征做加权融合，得到激光点云和相机图像实例级别的融合特征图；

7)融合特征图通过神经网络决策层，得到检测目标中体积大的目标的类别和3D包围盒，即得到大目标的类别和3D包围盒。

2.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤1)中，使用激光雷达采集激光点云数据，使用光学相机采集相机图像数据，通过截取相同时间戳获取对应帧的激光点云和相机图像。

3.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤4)中，采用的神经网络决策层为softma x网络层，将融合特征图经过softma x网络层得到空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。

4.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤5)中，使用多层感知机MLP提取点云特征图的中层特征，得到中层点云特征图，使用卷积神经网络CNN提取图像特征图的中层特征，得到中层图像特征图。

5.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤7)中，采用的神经网络决策层为softma x网络层，将融合特征图经过softma x网络层得到空间粒度中每个特征点的目标可能性，通过非极大值抑制筛选出在允许的重合度阈值条件下最高可能性的目标，设定置信度阈值决策出目标的类别，同时通过全连接网络进行回归任务，得到目标的3D包围盒。