[发明专利]一种基于流数据的三维物体检测与跟踪方法

摘要

本发明涉及三维目标检测和追踪领域，更具体地，涉及一种基于流数据的三维物体检测与跟踪方法，通过输入包括点云数据和图像数据的前后两个关键帧，对数据进行特征提取得到特征图，并将两帧特征图做相关操作得到相关特征图。之后，将特征图输入候选框提取网络获得候选框；通过候选框在特征图和相关特征图获取特征块并输入回归网络，分别得到检测物体的三维框和三维框偏移量。通过插值法求出除关键帧之间的其他帧画面，并对所有帧中的目标进行关联，得到跟踪结果。本发明只需对关键帧进行检测，加快流数据检测的速度，满足自动驾驶环境对实时性的要求同时具有更好的稳定性；同时融合了点云信息和图像信息，优劣互补，提高检测物体的准确性。

主权项

1.一种基于流数据的三维物体检测与跟踪方法，其特征在于，包括如下步骤：/n步骤一：输入前后两帧由点云数据和图像数据组成的关键帧数据，对数据进行预处理，其中的点云数据在俯视图方向上投影结构转化成BEV图；/n步骤二：将步骤一中的两关键帧数据进行特征提取，得到特征图，并将提取的特征图输入区域特征提取模块，分别得到两个关键帧的候选框集合；/n步骤三：所述候选框在特征图中截取特征块和调整尺寸，然后输入分类网络与框回归网络,得到物体的类别和三维框位置；/n步骤四：对步骤二中提取的两个关键帧的数据做相关操作得到相关特征图，所述候选框在相关特征图中截取特征块和调整尺寸，然后输入回归网络得到两个关键帧对应物体的三维框的偏移量；/n步骤五：根据物体的三维框和三维框对应的偏移量，运用插值法得到两个关键帧数据之间的其他帧数据的物体的三维框，从而得到所有帧中的物体的三维检测结果；/n步骤六：根据检测结果，对所有帧数据对应的物体相互关联，得到跟踪结果。/n