[发明专利]一种基于多传感器信息融合的三维目标检测方法及装置

权利要求书

1.一种基于多传感器信息融合的三维目标检测方法，其特征在于，包括：

分别获取智能车上安装的激光雷达与摄像头传感器采集到的预设环境区域内的3D点云与RGB图像，将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像；

根据所述3D点云生成鸟瞰图，并依据所述鸟瞰图确定感兴趣区域；

利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像；

利用多层感知机处理所述感兴趣区域特征融合图像，以初步预测所述预设环境区域中目标的置信度、三维大小与位置，生成候选框，并根据所述目标的置信度与预设置信度阈值，对所述候选框进行筛选；

基于注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像；

利用多层感知机对所述候选框特征融合图像进行处理，获取所述候选框特征融合图像中目标对象的类别、三维尺寸、三维位置与运动方向。

2.如权利要求1所述的方法，其特征在于，所述将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像包括：

通过根据所述激光雷达与所述摄像头传感器间的位置关系预先标定得到的外部参数，将所述3D点云从三维激光雷达坐标系转换至相机坐标系；

将所述相机坐标系下的3D点云投影至所述RGB图像，确定所述3D点云的每个激光雷达点在所述RGB图像的对应位置；其中，每个位置的像素由R、G、B三个通道组成；

将所述3D点云的每个激光雷达点的反射强度作为所述RGB图像中对应位置的第四通道，生成RGB-I图像。

3.如权利要求1所述的方法，其特征在于，所述利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像包括：

利用所述卷积神经网络分别提取所述RGB-I图像与所述鸟瞰图的特征，得到所述RGB-I图像的特征图与所述鸟瞰图的特征图；

将所述感兴趣区域分别投影至所述RGB-I图像的特征图与所述鸟瞰图的特征图，得到所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图；

将所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图调整至固定尺寸后进行融合，得到所述感兴趣区域特征融合图像。

4.如权利要求1所述的方法，其特征在于，所述基于注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像包括：

将所述候选框分别投影至所述RGB-I图像的特性图与所述鸟瞰图的特征图，得到所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图；

将所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图调整至固定尺寸后，基于所述注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重；

完成候选框权重赋予后，对加权处理后的所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像。