[发明专利]4D毫米波和激光点云多视角特征融合的三维目标检测方法

权利要求书

1.一种4D毫米波和激光点云多视角特征融合的三维目标检测方法，所述方法包括：

同时采集毫米波雷达点云数据和激光雷达点云数据；

将毫米波雷达点云数据和激光雷达点云数据，输入预先建立和训练好的毫米波与激光雷达融合网络，输出三维目标检测结果；

所述毫米波与激光雷达融合网络，用于分别从BEV视角学习激光雷达和毫米波雷达的交互信息，从透视视角学习激光雷达和毫米波雷达的交互信息，将这个交互信息进行拼接，从而实现毫米波雷达点云数据和激光雷达点云数据的融合；

所述毫米波与激光雷达融合网络包括：体素化模块、特征融合模块、毫米波和激光雷达特征交互模块、伪图像处理模块、2D卷积神经网络和检测头；

所述体素化模块，用于对毫米波雷达点云数据和激光雷达点云数据分别进行BEV视角的体素化，输出毫米波雷达点云数据的Pillar特征和激光雷达点云数据的Pillar特征；对毫米波雷达点云数据和激光雷达点云数据分别进行PV视角的体素化，输出毫米波雷达点云数据的Pyramid特征和激光雷达点云数据的Pyramid特征；

所述特征融合模块，用于将激光雷达点云数据的Pillar特征和毫米波雷达点云数据的Pyramid特征拼接，将毫米波雷达点云数据的Pillar特征和激光雷达点云数据的Pyramid特征拼接，将拼接后的两个特征输入毫米波和激光雷达特征交互模块；

所述毫米波和激光雷达特征交互模块，用于从BEV视角学习激光雷达和毫米波雷达的交互信息，从透视视角学习激光雷达和毫米波雷达的交互信息，得到携带毫米波雷达交互信息的激光雷达特征和携带激光雷达交互信息的毫米波雷达特征；将这个特征在通道维度进行拼接得到特征F，输入到伪图像处理模块；

所述伪图像处理模块，用于根据体素化模块中生成的每个体素的坐标，将毫米波和激光雷达特征交互模块输出的特征F按位置编码到x-y平面，形成一个128通道的伪图像；

所述2D卷积神经网络，用于从128通道的伪图像中提取多尺度的特征信息，输出至检测头；

所述检测头，用于对2D卷积神经网络输出的特征进行处理，输出目标检测结果。

2.根据权利要求1 所述的4D毫米波和激光点云多视角特征融合的三维目标检测方法，其特征在于，所述体素化模块包括：毫米波雷达点云数据Pillar特征提取单元、激光雷达点云数据Pillar特征提取单元、毫米波雷达点云数据Pyramid特征提取单元和激光雷达点云数据Pyramid特征提取单元；

所述毫米波雷达点云数据Pillar特征提取单元，包括：第一全连接层、第一鸟瞰视图、第一全连接层和第一最大池化层；毫米波雷达点云数据经过第一全连接层后维度扩展到64维，通过第一鸟瞰视图进行BEV视角体素化，在通过第一全连接层和第一最大池化层后，输出毫米波雷达点云数据Pillar特征；

所述激光雷达点云数据Pillar特征提取单元，包括：第二全连接层、第二鸟瞰视图、第二全连接层和第二最大池化层；激光雷达点云数据经过第二全连接层后维度扩展到64维，通过第二鸟瞰视图进行BEV视角体素化，在通过第二全连接层和第二最大池化层后，输出激光雷达点云数据Pillar特征；

所述毫米波雷达点云数据Pyramid特征提取单元，包括：第三全连接层、第一透视视图、第三全连接层和第三最大池化层，毫米波雷达点云数据经过第三全连接层后维度扩展到64维，通过第一透视视图进行PV视角体素化，在通过第三全连接层和第三最大池化层后，输出毫米波雷达点云数据Pyramid特征；

所述激光雷达点云数据Pyramid特征提取单元，包括：第四全连接层、第二透视视图、第四全连接层和第四最大池化层，激光雷达点云数据经过第四全连接层后维度扩展到64维，通过第二透视视图进行PV视角体素化，在通过第四全连接层和第四最大池化层后，输出激光雷达点云数据Pyramid特征。