[发明专利]一种基于多传感器信息融合的三维目标检测方法及装置

说明书

本发明公开了一种基于多传感器信息融合的三维目标检测方法、装置、设备及计算机可读存储介质，包括：融合激光雷达与摄像头传感器采集到的3D点云与RGB图像，生成RGB‑I图像；根据3D点云生成多通道鸟瞰图，从而确定感兴趣区域；基于卷积神经网络分别提取并融合RGB‑I图像与鸟瞰图的感兴趣区域特征；利用多层感知机基于感兴趣区域特征融合图像预测目标的置信度、大致位置及尺寸，确定候选框；基于注意力机制自适应赋予不同传感器候选框特征图不同的像素权重，进行跳跃式融合；利用多层感知机处理候选框特征融合图像，输出三维检测结果。本发明所提供的方法、装置、设备及计算机可读存储介质，提高了目标识别率，可获得目标精确定位。

技术领域

本发明涉及自动驾驶技术领域，特别是涉及一种基于多传感器信息融合的三维目标检测方法、装置、设备以及计算机可读存储介质。

背景技术

以预防、智能为核心的自动驾驶技术已成为现代交通的迫切需求，解决智能车在复杂场景下多目标识别和三维定位，是三维环境感知的关键，是车辆安全、可靠行驶的前提。传统的单一传感器很难对场景中的动态或静态的目标进行及时和准确地识别与检测，则多传感器联合检测，优势互补是智能感知的趋势。目前，基于多传感器的三维目标检测技术仍存在源数据初始特征提取不充分；多模态数据匹配融合方式简单低效；复杂道路交通工况下，感知性能易受距离、形变、尺度变化、重叠、遮挡等因素的影响等难点。

综上所述可以看出，如何充分高效的利用多传感器信息，减少智能车在复杂场景下对目标的漏检、误检率，提高识别率同时实现检测目标的精确定位是目前有待解决的问题。

发明内容

本发明的目的是提供一种基于多传感器信息融合的三维目标检测方法、装置、设备以及计算机可读存储介质，以解决现有技术中多模态数据匹配融合粗糙低效和复杂环境下三维目标无法精确识别和定位的问题。

为解决上述技术问题，本发明提供一种基于多传感器信息融合的三维目标检测方法，包括：分别获取智能车上安装的激光雷达与摄像头传感器采集到的预设环境区域内的3D点云与RGB图像，将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像；根据所述3D点云生成鸟瞰图，并依据所述鸟瞰图确定感兴趣区域；利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像；利用多层感知机处理所述感兴趣区域特征融合图像，以初步预测所述预设环境区域中目标的置信度、三维大小与位置，生成候选框，并根据所述目标的置信度与预设置信度阈值，对所述候选框进行筛选；基于注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对加权处理后的所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像；利用多层感知机对所述候选框特征融合图像进行处理，获取所述候选框特征融合图像中目标对象的类别、三维尺寸、三维位置与运动方向。

优选地，所述将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像包括：

通过根据所述激光雷达与所述摄像头传感器间的位置关系预先标定得到的外部参数，将所述3D点云从三维激光雷达坐标系转换至相机坐标系；

将所述相机坐标系下的3D点云投影至所述RGB图像，确定所述3D点云的每个激光雷达点在所述RGB图像的对应位置；其中，每个位置的像素由R、G、B三个通道组成；

将所述3D点云的每个激光雷达点的反射强度作为所述RGB图像中对应位置的第四通道，生成RGB-I图像。

优选地，所述利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像包括：

利用所述卷积神经网络分别提取所述RGB-I图像与所述鸟瞰图的特征，得到所述RGB-I图像的特征图与所述鸟瞰图的特征图；