[发明专利]一种基于流数据的三维物体检测与跟踪方法

权利要求书

1.一种基于流数据的三维物体检测与跟踪方法，其特征在于，包括如下步骤：

步骤一：输入前后两帧由点云数据和图像数据组成的关键帧数据，对数据进行预处理，其中的点云数据在俯视图方向上投影结构转化成BEV图；

步骤二：将步骤一中的两关键帧数据进行特征提取，得到特征图，并将提取的特征图输入区域特征提取模块，分别得到两个关键帧的候选框集合；

步骤三：所述候选框在特征图中截取特征块和调整尺寸，然后输入分类网络与框回归网络,得到物体的类别和三维框位置；

步骤四：对步骤二中提取的两个关键帧的数据做相关操作得到相关特征图，所述候选框在相关特征图中截取特征块和调整尺寸，然后输入回归网络得到两个关键帧对应物体的三维框的偏移量；

步骤五：根据物体的三维框和三维框对应的偏移量，运用插值法得到两个关键帧数据之间的其他帧数据的物体的三维框，从而得到所有帧中的物体的三维检测结果；

步骤六：根据检测结果，对所有帧数据对应的物体相互关联，得到跟踪结果。

2.根据权利要求1所述的一种基于流数据的三维物体检测与跟踪方法，其特征在于，在所述步骤一中，对图像数据进行归一化，然后裁剪到1200x360px；对点云数据，取范围在[-40,40]x[0,70]x[0,2.5]m内的点，然后去除掉在图像范围外的点值。

3.根据权利要求2所述的一种基于流数据的三维物体检测与跟踪方法，其特征在于，在所述步骤二中，所述特征提取基于VGG16的结构并加入特征金字塔结构，对两个关键帧图像数据进行数据提取，分别得到点云特征图和图像特征图；将两个特征图输入RPN预测，得到若干个三维候选框。

4.根据权利要求3所述的一种基于流数据的三维物体检测与跟踪方法，其特征在于，在所述步骤二中，对候选框进行非极大值抑制算法得到K个提取框。

5.根据权利要求4所述的一种基于流数据的三维物体检测与跟踪方法，其特征在于，在所述步骤三中，所述提取框分别在点云特征图和图像特征图上截取相应的特征块，调整至相同大小后经过多视角融合后通过全连接网络分类和回归，得到对应物体的三维框。

6.根据权利要求5所述的一种基于流数据的三维物体检测与跟踪方法，其特征在于，在所述步骤四中，计算前后两帧的图像特征图和点云特征图的卷积互相关特征，得到相关特征图C_img^t,t+τ和C_pc^t,t+τ；使用所述提取框分别在C_img^t,t+τ和C_pc^t,t+τ特征图上截取相应的特征块，调整至相同大小后再进行两个视角的特征融合，得到融合特征图C_fusion^t,t+τ；将所述融合特征图输入全连接网络，得到两关键帧对应物体的三维框偏移量。

7.根据权利要求6所述的一种基于流数据的三维物体检测与跟踪方法，其特征在于，在所述步骤三中和所述步骤四中，对三维框和三维框偏移量进行非极大值抑制算法进行筛选。

8.根据权利要求1所述的一种基于流数据的三维物体检测与跟踪方法，其特征在于，在所述步骤六中，得到所有帧的检测结果后，使用IOU Tracker算法关联不同帧的三维框；具体为先设定一个重叠程度阈值，如果前后两帧图像的物体三维框的重叠程度超过该阈值，则判断为同一物体，相反，则认为不是同一物体。