[发明专利]一种基于多传感器数据融合的3D目标检测方法

权利要求书

1.一种基于多传感器数据融合的3D目标检测方法，其特征在于，包括以下步骤：

步骤(1).输入激光雷达点云I_lidar和单目摄像头图像I_img；

步骤(2).利用传感器标定矩阵对输入点云I_lidar进行剪裁，利用传感器标定矩阵将每个点p(x,y,z)投影到图像平面上，只保留图像平面内的点，使得激光雷达和摄像头两个传感器数据具有相同的视场范围，投影公式为：

[u,v,1]^T＝K(Rp+t) (1)

其中，K是摄像头的内参标定矩阵，R和t是描述激光雷达和摄像头位置之间的旋转矩阵和平移向量，(u,v)则是点p(x,y,z)对应的图像坐标；

步骤(3).对剪裁后的点云数据使用点云分割神经网络进行前后景分割，获取到每个点的前景分数Score_FG、每个点的高维点云特征F_point以及区域建议3D框，所述的区域建议3D框由(x,y,z,w,h,l,θ)七个参数确定，(x,y,z)表示区域建议3D框中心点的位置坐标，(w,h,l)表示区域建议3D框的宽高长，θ表示目标的偏航角；根据每个点的前景分数Score_FG，将Score_FG＞Thresh_FG的点作为前景点，反之为背景点，其中Thresh_FG表示前后景分数的分割阈值；然后基于前景点进行候选区域建议，在前景点对应的区域建议3D框中筛选出N_PRE个区域建议3D框，利用非极大值抑制算法去重叠，保留出N_POST个待精细化的区域建议3D框；

步骤(4).对输入图像I_img使用图像分割神经网络进行图像语义分割，以获得图像的前后景分割结果和中间高维特征图H_img，将中间高维特征图H_img上每个像素所在位置处的数值作为该像素的高维图像特征F_pixel；

步骤(5).以点为单位进行高维点云特征F_point和高维图像特征F_pixel的关联：首先按步骤(2)中的方式获取到点p(x,y,z)在图像上的对应像素位置(u,v)，然后再把该像素位置处的由步骤(4)获取到的图像特征F_pixel关联为点p的图像特征，最终利用如下式(2)关系，获得每一个点的多传感器特征F_point-pixel，其中运算符表示拼接操作；

步骤(6).以步骤(3)得到的待精细化的每一个区域建议3D框为单位，框选出对应的点云子集，然后以每一个点云子集为单位采用特征融合神经网络对其进行多传感器特征F_point-pixel的自适应融合，获取到每一个区域建议3D框的区域特征F_proposal；

步骤(7).以每一个区域建议3D框为单位进行区域建议的精细化调整，将由步骤(6)得到的区域特征F_proposal作为区域建议精细化神经网络的输入，输出一个最终的检测置信度和精细化调整后的3D框；

步骤(8).利用非极大值抑制算法对精细化调整后的3D框进行去重叠后处理，在具有重叠的3D框中保留检测置信度最高的3D框作为最终的检测结果输出。

2.如权利要求1所述的一种基于多传感器数据融合的3D目标检测方法，其特征在于，步骤(3)所述的点云分割神经网络采用PointNet++，由m层点抽取模块SAs和m层特征传播模块FPs组成。

3.如权利要求1所述的一种基于多传感器数据融合的3D目标检测方法，其特征在于，步骤(4)所述的图像分割神经网络采用预训练好的金字塔结构的PSPNet，使用PSPNet倒数第二层的输出作为图像的中间高维特征图H_img。