[发明专利]基于卡尔曼滤波与LSTM的三维多目标跟踪方法

说明书

本发明公开了一种基于卡尔曼滤波与LSTM的三维目标跟踪方法，包括以下步骤：对输入的三维目标边框进行轨迹初始化；使用恒定速率卡尔曼滤波算法对三维目标边框轨迹进行更新去噪并得到预测轨迹集合；利用匈牙利算法对预测轨迹和当前帧的三维目标边框进行数据关联并更新卡尔曼滤波器；将去噪的三维目标框序列用于训练长短时记忆网络；利用恒定速率卡尔曼滤波算法和匈牙利算法，与训练好的LSTM进行三维目标的跟踪与预测。传统基于卡尔曼滤波的目标跟踪方法，存在非线性拟合能力不足的问题，本方法与传统方法最大不同之处在于使用了深度学习模型LSTM的强力特征提取能力，能够拟合更复杂的运动模型，使得跟踪的结果更加平滑，同时提高了跟踪系统的速度。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于卡尔曼滤波与LSTM的三维多目标跟踪方法。

背景技术

三维多目标跟踪是视频处理与计算机视觉的重要组成部分，在自动驾驶中应用广泛，得益于检测算法准确率的提高，当前跟踪技术的主流是基于检测的跟踪。在基于检测的跟踪算法中，目标检测器对每一帧的图像进行检测得到目标检测边框，然后利用目标的运动信息与边框信息进行目标边框的关联与跟踪，得到目标的轨迹。

传统的基于检测的跟踪算法应用到三维多目标跟踪时，跟踪算法的实时性严重依赖于三维目标检测器的检测速度。由于当前主流的三维目标检测器速度较慢，造成现有的基于检测的跟踪算法无法直接应用于三维多目标跟踪。同时，由于检测器输出的三维目标边框存在噪声引起跟踪目标的三维边框抖动明显，使得跟踪结果不够平滑稳定。

发明内容

为了解决上述技术问题，本发明实施例提供了一种基于卡尔曼滤波与LSTM的三维多目标跟踪方法，包括：

S1、对输入的三维目标边框进行轨迹初始化，初始化根据第t+1帧的三维边框与第t帧的三维边框是否匹配来确定是否新建一条轨迹，由于三维目标检测结果里面可能会存在一些假阳性样本，所以只有当连续两帧出现同一个目标的时候，新的轨迹才会被初始化；

S2、使用恒定速率卡尔曼滤波算法对第t帧三维目标边框轨迹进行更新去噪并得到真实轨迹集合再进行预测得到预测轨迹集合其中所述预测轨迹集合表示第t+1帧的预测轨迹集合；

S3、利用匈牙利算法对预测轨迹和当前帧的三维目标边框进行数据关联并更新卡尔曼滤波器；

S4、将去噪的三维目标边框序列用于训练长短时记忆网络LSTM；

S5、利用恒定速率卡尔曼滤波算法和匈牙利算法，与训练好的LSTM进行三维目标的跟踪与预测，如果每一帧都进行三维目标边框检测的话，由于主流的三维目标检测器普遍存在检测速度慢的问题，所以我们可以每隔F帧获取三维目标检测结果，中间的F帧使用LSTM模型进行预测，可以使得跟踪结果更加的平滑且加快了速度。

进一步地，所述步骤S1的轨迹初始化过程如下：

用表示第t帧的第i个三维目标边框，其中x,y,z,l,w,h,θ分别表示三维目标边框在相机坐标系的x轴的坐标、y轴坐标、z轴坐标；

三维目标边框的长宽高以及目标的观测角度，集合D_t表示第t帧的所有三维目标边框的集合；

若交并比也就是第t帧第i个三维目标边框与第t+1帧第j个三维目标边框的交并比(Intersection over Union，简称IoU)大于等于阈值threshold时，新建一个轨迹其中k表示第k个轨迹，第t+1时刻的轨迹集合记为T_t+1，丢弃剩余的三维目标边框。

进一步地，所述步骤S3的数据关联具体如下：

将当前第t帧的三维目标边框集合D_t与卡尔曼滤波算法得到的预测轨迹集合T_t^p的输入匈牙利算法，得到数据关联结果；