[发明专利]多模态自适应融合的三维目标检测方法

摘要

本发明公开了一种多模态自适应融合的三维目标检测方法，用于解决现有三维目标检测方法检测效率低的技术问题。技术方案是输入RGB图像以及BEV Map，首先使用FPN网络结构，包含编码器和解码器结构，得到二者全分辨率的特征图，用于结合底层细节信息和高层语义信息，然后通过特征裁剪提取两个特征图对应的特征进行裁剪并自适应融合，最后挑选出3D建议以实现3D物体检测。整个过程是两阶段检测，此外使用RGB图像和点云作为原始输入，减少了LIDAR FV输入，降低了计算量，减少算法的计算复杂度，提高了三维空间车辆目标检测的效率。这种算法有效提高了对小物体的检测效果以及被遮挡车辆以及被截断车辆的检测率。

主权项

1.一种多模态自适应融合的三维目标检测方法，其特征在于包括以下步骤：/n步骤一、利用特征提取器从鸟瞰图和图像中生成特征图，将LIDAR点云投射到鸟瞰图，从一个分辨率为0.1m的点云的体素网格中生成六通道鸟瞰图；将点云裁剪在[-40，40]×[0，70]范围内，从而包含相机视野内的点；鸟瞰图的前五个通道是每个栅格单元的最大高度，是由Z轴上[0，2.5]米范围内五个相同的切片生成；第六个通道信息包含的是每个单元中的密度信息，由确定，其中N是体素网格中的点数；/n步骤二、使用图像输入和LIDAR输入两个特征提取器，将VGG-16网络通道数减半，并在第四层卷积层裁剪网络；编码器将一个M*N*D的图像或者鸟瞰图作为输入，并输出(M/8)×(M/8)×D的特征图；设计一个自底向上的解码器将编码器输出的特征图上采样恢复至原始输入尺寸；通过解卷积将两个编码器输出的相关联的特征图级联，然后通过一个3×3卷积将两者融合；/n步骤三、由形心(t_x,t_y,t_z)和轴对齐尺寸(d_x,d_y,d_z)编码生成锚盒，通过积分图像将空锚有效去除，最终每一帧产生80-100k个非空锚；给定一个锚，将其分别投影到鸟瞰图和图像中获得两个感兴趣区域；然后用这两个相关的感兴趣区域从每个视图中提取特征修剪区域；将提取出的特征修剪区域双线性地调整至3×3，获得两个相同长度的特征向量，使用1×1卷积进行降维并生成3D建议；/n步骤四、利用四个顶点和两个高度信息进行3D最小包围框的约束进行编码，将来自两个输入视图裁剪调整为7×7，然后与元素方式均值操作进行融合；一组三个完全连接的大小为2048的层来处理融合特征图，以输出每个提案的框回归，方向估计和类别分类。/n