[发明专利]一种三维目标检测方法及系统

说明书

本发明公开了一种三维目标检测方法及系统，属于目标检测技术领域，包括：获取待检测目标的原始点云和原始图像，并将原始点云转换成体素形态；利用多层感知机对原始点云进行特征提取，得到点云高维局部特征；利用三维主干网络对体素进行特征提取，得到体素特征图；根据原始图像和体素特征图，得到浅融合特征图；根据浅融合特征图和点云高维局部特征，得到待检测目标的包围框。本发明基于注意力机制的激光雷达点云和图像多模态融合进行三维目标检测，提高目标检测的准确率。

技术领域

本发明涉及目标检测技术领域，特别涉及一种三维目标检测方法及系统。

背景技术

在目标自动检测领域，已有方法大多采用单一光学传感器采集数据来进行，常见的有利用带有相机/摄像头等获取图像数据完成检测，这部分的研究由来已久，随着深度学习的快速发展，基于深度神经网络的方法取得了检测精度和实时性的双重飞跃，已经在多个领域获得重要应用。然而在机器人、无人驾驶等多种实际应用场景中，更关心的是物体的三维位置信息，因此需要发展三维目标检测方法。

为此，研究人员利用激光雷达采集点云数据，获得目标精确三维信息，激光雷达具有不受外界光照影响以及精度高的优点，但是分辨率远远低于光学传感器获得的图像。将激光雷达与光学传感器融合起来进行三维目标检测，能够达到优势互补的效果，因此受到研究人员的关注。

在三维目标检测方面，目前准确率高的检测方法都是基于两阶段的，例如VoxelNet、MV3D等，VoxelNet直接对点云进行处理，通过网格化，将各区域内的点云利用级联的VFE层进行特征提取，然后采用RPN构造两阶段网络进行目标检测；但是其没有使用图像，因此没有充分利用信息，检测准确率不够高。MV3D是最早提出用统一的网络架构将图像和点云进行融合的，其思路是通过提取某些特征将点云表达成二维的数据形式，仍然保留一定的三维信息，从而利用统一的网络结构将点云和图片进行融合处理；但其虽然对点云和图像进行了融合，但是将点云处理成二维鸟瞰图，损失了较多的空间信息，因此检测效果也有待提升。

发明内容

本发明的目的在于克服现有技术存在的缺陷，以提高三维目标检测的准确性。

为实现以上目的，本发明采用一种三维目标检测方法，包括如下步骤：

获取待检测目标的原始点云和原始图像，并将原始点云转换成体素形态；

利用多层感知机对原始点云进行特征提取，得到点云高维局部特征；

利用三维主干网络对体素进行特征提取，得到体素特征图；

根据原始图像和体素特征图，得到浅融合特征图；

根据浅融合特征图和点云高维局部特征，得到待检测目标的包围框。

进一步地，所述利用三维主干网络对体素进行特征提取，得到体素特征图，包括：

利用由三维卷积核构造的三维主干网络学习所述体素内部特征和局部特征，并逐层降低特征图的尺寸在高度维上为1，得到三维特征图；

将三维特征图的高度维去掉，将三维特征图转换为二维的体素特征图。

进一步地，所述根据原始图像和体素特征图，得到浅融合特征图，包括：

利用VGG网络对所述原始图像进行特征提取，得到图像特征图；

将图像特征图与所述体素特征图按位进行拼接，得到所述浅融合特征图。

进一步地，所述根据浅融合特征图和点云高维局部特征，得到待检测目标的包围框，包括：

将所述浅融合特征图输入至区域提议网络中进行处理，获得初始目标包围框；