[发明专利]基于图像语义特征进行点云筛选的3D目标检测方法

说明书

本发明提出了一种基于图像语义特征进行点云筛选的3D目标检测方法。包括以下步骤：首先2D语义分割方法对图像数据进行分割得到语义预测。将生成的语义预测通过已知的投影矩阵投影到LIDAR点云空间中，从而使点云中的每一个点都能获得对应图像位置的语义类别属性。我们将车辆、行人、骑车人相关的点从原始点云中提取出来并形成视锥。其次我们将视锥作为深度3D目标检测器的输入，并设计符合视锥特性的损失函数来进行网络训练。本发明设计了基于图像语义特征进行点云筛选的3D目标检测算法，大大减少了3D检测的时间和计算需求。最后我们的方法在3D目标检测的基准数据集KITTI上的表现表明，我们的方法具有很好的实时目标检测性能。

技术领域

本发明涉及3D目标检测，具体涉及一种基于图像语义特征进行点云筛选的3D目标检测算法，属于模式识别领域。

背景技术

基于点云的3D目标检测在现实生活中许多应用充当着重要的角色，例如自动驾驶，家庭机器人，增强现实和虚拟现实。相比较于传统的基于图像的目标检测方法，LIDAR点云提供更加准确的可以用来定位物体和描绘物体形状的深度信息。然而，由于诸如非均一化的3D空间采样，传感器的有效范围以及物体遮挡和相对位置等因素，使其与传统的图像不同，LIDAR点云更加稀疏并且各部分密度有着较大差异。为了解决上述问题，许多方法使用人工设计的特征提取方法将3D点云处理为可以被对应目标检测器处理的特征。然而这些将全部点云作为输入的方法都需要耗费大量的计算资源而且无法做到实时检测。

发明内容

本发明的目的是：针对现有技术存在的问题，提出一种基于图像语义特征进行点云筛选的3D目标检测算法，该算法是一种端到端的深度3D目标检测方法，该方法同时采用2D图像语义分割方法来获得同样场景下图像中每一个像素的类别属性，并且将这种预测结果作为先验的类别属性，通过已知的投影矩阵对点云中每一个点进行标记，并将这些点中类别为汽车、行人、骑车人的点从点云中全部提取出来形成视锥，作为3D目标检测网络的输入。同时我们还设计了处理视锥的3D目标检测器。除了目标检测器中基础的组成部分，即使用网格的点云特征提取器，卷积中间提取层以及区域预选网络(RPN)，我们也对损失函数进行了优化，使整个网络对于视锥中的缺少参考的物体更加敏感。我们的算法包括以下步骤：

步骤(1)：对图像数据进行二维图像的语义分割，得到语义预测；

步骤(2)：将语义预测投影到点云空间中，并筛选特定类别的点形成视锥；

步骤(3)：搭建3D目标检测网络，将视锥作为3D目标检测器的输入；

步骤(4)：强化损失函数中对3D目标框位置的敏感程度；

步骤(5)：得到总目标函数并进行算法优化。

进一步的，步骤(1)所述的对图像数据进行语义分割的具体方法是：

使用DeepLabv3+语义分割方法来对图像进行分割：先对数据集中训练集的图像部分进行手工标签；再将DeepLabv3+在Cityscapes数据集上进行预训练200个epoch，然后在手工标记的语义标签数据集上进行50epoch的微调；训练所得到的语义分割网络将图片中每一个像素分类为19类的一个。

进一步的，在步骤(2)中，基于2D语义分割方法预测的结果，利用已知的投影矩阵，将每个图像中的每个类别的区域投影到LIDAR点云空间中，对应LIDAR点云空间的区域具有与图像区域一致的类别属性；然后将关于车辆、行人、骑车人的点从原始点云中筛选并提取出来，形成视锥。

进一步的，在步骤(3)中，使用pytorch搭建深度目标检测网络，该网络包含三个部分：使用网格的点云特征提取器、卷积中间提取层以及区域预选网络RPN：

在网格点云特征提取器中，用设定大小的3D网格对整个视锥进行有序切割，并将每一个网格中的所有点都送到网格特征提取器中，所述网格特征提取器由一个线性层、一个批标准化层BatchNorm和一个非线性激活层ReLU组成；