[发明专利]一种基于激光雷达与摄像头融合的三维目标检测方法

权利要求书

1.一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：具体包括以下步骤，

步骤1：将摄像头采集的图像(h,w,3)输入图像处理网络，以得到与初始图像大小相同的图像特征图(h,w,n_channel)；所述图像(h,w,3)表示长为w像素，宽为h像素，每个像素拥有RGB3个通道；所述图像特征图(h,w,n_channel)表示长为w像素，宽为h像素，每个像素拥有n_channel个通道；

步骤2：将激光雷达获取的三维点云(n,4)通过联合标定后的坐标变换矩阵，坐标变换到图像坐标系进行投影，每个在图像大小范围内的点云都获取对应像素点的特征，最终得到在图像范围内的点云，并且获取了对应的图像特征(n_reduce,4+n_channel)；

步骤3：将融合的点云图像数据(n_reduce,4+n_channel)按照点云的(x,y,z)分布进行体素网格化，得到(L,W,H,N,4+n_channel)的体素化数据；

步骤4：对体素化数据(L,W,H,N,4+n_channel)进行筛选，去掉空的网格，将长宽高按秩序排列成一维，得到(K,N,4+n_channel)的体素化数据；

步骤5：将处理后的体素化数据(K,N,4+n_channel)输入数据编码网络，得到(L,W,C)的特征图；

步骤6：将特征图(L,W,C)通过单阶段的目标检测网络，最后输出层直接输出三维目标的(x,y,z,ry,l,w,h,s)。

2.根据权利要求1所述的一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：所述步骤1中的图像处理网络为卷积神经网络，可使用金字塔结构的特征提取结构。

3.根据权利要求2所述的一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：所述步骤2中的三维点云(n,4)表示一帧获取到n个点云，每个点云有(x,y,z,r)四个通道，其中(x,y,z)为点云的三维坐标，r为点云的反射率；图像特征(n_reduce,4+n_channel)表示n_reduce个在图像范围内的点，4+n_channel表示点云原有的4个(x,y,z,r)特性再拼接上对应点的图像特征n_channel。

4.根据权利要求3所述的一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：所述步骤3中的体素化后的数据(L,W,H,N,4+n_channel)表示长边L个格子，宽边W个格子，高度H个格子，将激光雷达坐标系有效区域进行均分，每个格子内N个点云图像数据，每个数据4+n_channel个特征通道，并且N有最大限值，若格子内超过N个点，则根据点的xyz坐标，按照距离原点的距离进行升序排列，取前N个点。

5.根据权利要求4所述的一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：所述步骤4中筛选后的体素化数据(K,N,4+n_channel)表示K个非空格子，每个格子N个数据点，每个数据4+n_channel个特征通道。

6.根据权利要求5所述的一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：所述步骤5中的数据编码网络包括全连接层、VoxelNet；所述数据编码网络在每个格子提取出一个点表示这个格子，一个高度方向选出一个格子表示这个高度，即得到L长、W宽的特征图大小，C为特征图特征数，通过升维扩充特征。

7.根据权利要求6所述的一种基于激光雷达与摄像头融合的三维目标检测方法，其特征在于：所述步骤6中的单阶段的目标检测网络包括以卷积神经网络为主体的单阶段锚点检测网络；三维目标的(x,y,z,ry,l,w,h,s)表示目标的(x,y,z)坐标，其朝向与原点坐标系x轴的夹角ry，目标的长宽高(l,w,h)，以及置信分数s。