[发明专利]一种基于流数据的三维物体检测与跟踪方法

说明书

本发明涉及三维目标检测和追踪领域，更具体地，涉及一种基于流数据的三维物体检测与跟踪方法，通过输入包括点云数据和图像数据的前后两个关键帧，对数据进行特征提取得到特征图，并将两帧特征图做相关操作得到相关特征图。之后，将特征图输入候选框提取网络获得候选框；通过候选框在特征图和相关特征图获取特征块并输入回归网络，分别得到检测物体的三维框和三维框偏移量。通过插值法求出除关键帧之间的其他帧画面，并对所有帧中的目标进行关联，得到跟踪结果。本发明只需对关键帧进行检测，加快流数据检测的速度，满足自动驾驶环境对实时性的要求同时具有更好的稳定性；同时融合了点云信息和图像信息，优劣互补，提高检测物体的准确性。

技术领域

本发明涉及三维目标检测和追踪领域，更具体地，涉及一种基于流数据的三维物体检测与跟踪方法。

背景技术

目前自动驾驶与视觉感知任务主要分为基于图像，基于点云以及基于图像与点云融合，具体为：

1.基于图像的方法中主要以Mono3D,3DOP等为代表，由于图像数据没有深度信息，因此需要加入额外手工设计的三维特征。然而，单一的RGB数据以及特定的手工设计的特征不利于神经网络有效地学习3D空间信息，也限制这场景的扩展。此外，手工特征的获取一般耗时过长，这类方法目前效果有限，进展缓慢。

2.基于点云的方案可以细分为三个子分支：

①直接在点云上使用3D CNN进行物体检测。例如3D FCN和Vote3Deep等，这类方法先将点云数据结构化(一般为三维的voxel)，然后使用三维卷积提取特征。由于点云十分稀疏，且三维卷积需要在三个维度上进行，检测过程极其耗时。另外，高耗时限制了感受野的大小，使得传统的3D CNN不能很好地学习不同尺度的局部特征。②另一种方案是针对点云提出特定的网络结构，如VoxelNet将点云划分成Voxel等结构单元，在非空的结构单元上采用网络提取特征。最近，随着PointNet，PointNet++，PointCNN，PointSIFT，OctNet，DynamicGraph CNN等模型的提出，研究的重心转移至从无序点云数据中更有效地学习空间几何表示的方法探究。以PointNet为例，基于点云数据的置换不变性与旋转不变性，该工作提出了对称函数的概念。使用全连接网络和池化层拟合对称函数，能够高校地提取点云特征。然而，由于这类方法使用全连接层，一般需要对所有点进行处理，因此运用到大型场景(点云数据非常多)时速度还有待提升。③以PIXOR，FaF以及Complex-YOLO为代表的工作将点云投影到某一平面，例如前视图和鸟瞰图。这种映射过程存在某一维度的信息损失，但由于自动驾驶场景下几乎所有物体都位于同一平面上，因此信息损失对检测结果的影响极小。此方法将3D CNN简化为2D CNN，减小了算法的空间和时间复杂度，使实时检测成为可能。然而由于点云的稀疏性，投影后的目标点很少，造成特征信息不足，特别是对小目标以及远处物体的检测，效果很不理想。

3.基于图像和点云融合的方案。这类方法将图像丰富的纹理信息以及点云的深度信息进行融合，代表性的工作有MV3D,Fusing BEVFV,AVOD,F-PointNet等。前三者将点云映射到某一或几个平面，并选择性地加入手动设计的特征，然后与RGB图像融合。其中MV3D在深网络层进行融合，而Fusing BEVFV提出在RPN之前进行融合会取得更好的检测效果。这类方法需要额外模块融合数据，导致模型运行速度降低，很难满足实时性。通过减少手工设计的特征的输入，AVOD能够达到一定的实时性。另一方面，F-PointNet先在图像数据上使用2D目标检测获取2D定位框，然后投影到三维空间获得对应的视场锥，最后使用PointNet对视场锥内的点云进行语义分割，最终获得目标的三维定位框。该方法缺点是精度受限于2D目标检测过程，并且对于遮挡等情况效果不佳。

发明内容

本发明为克服上述现有技术中检测效果差和实时性差的问题，提供一种基于流数据的三维物体检测与跟踪方法，对三维物体精确检测与定位，并且提高检测速度，能够实现实时检测。