[发明专利]一种基于深度轨迹预测的多目标跟踪方法

摘要

本发明公开了一种基于深度轨迹预测的多目标跟踪方法，其整体步骤包括为：为多目标跟踪系统构建基于长短时记忆网络的轨迹预测模型；使用真实跟踪场景的轨迹数据训练轨迹预测模型；使用目标检测的外观特征构建保守的短时轨迹片段并计算轨迹片段间的外观相似度。使用训练好的轨迹预测模型在线上对目标进行深度轨迹预测，并得到轨迹片段间的运动相似度，综合考虑外观相似度和运动相似度，设置目标跟踪的网络模型完成多目标跟踪。本发明为多目标跟踪系统构建了基于长短时记忆网络的轨迹预测模型，相较传统方法，本发明的方法能够充分考虑目标的历史轨迹信息和场景信息，计算鲁棒性更佳的目标间运动相似度，进而提升多目标跟踪效果。

主权项

1.一种基于深度轨迹预测的多目标跟踪方法，其特征在于，包括下列步骤：步骤1、构建深度轨迹预测模型：构建基于长短时记忆网络的深度轨迹预测模型，该模型以目标的历史轨迹和目标所处环境的场景信息为输入，经预设的嵌入向量函数对每个时刻的输入进行嵌入向量处理后连接为一个向量，并作为当前时刻的输入向量；再经过长短时记忆网络得到目标的深度运动特征，最后经过全连接层输出目标未来连续多帧的位置信息，作为目标的轨迹预测结果；其中，目标的历史轨迹和目标所处环境的场景信息包括：目标的位置坐标、场景边界坐标、场景兴趣点坐标和场景目的地坐标；步骤2、训练深度轨迹预测模型：采集训练数据集；例如从多目标跟踪平台上选取真实的跟踪数据集，对选取出来的跟踪数据集，从标注文件中计算每个目标连续多帧的检测框中心位置，并选取连续的多帧的数据作为一组训练数据，基于多组训练数据得到训练数据集；深度轨迹预测模型训练：首先随机初始化模型参数，包括隐藏层间权重和输入向量与与隐藏层间的权重；然后基于训练数据集经过前向传播过程和反向传播算法对深度轨迹预测模型进行深度学习训练，当深度轨迹预测模型满足预设的收敛条件时，保存当前模型参数，得到训练好的深度轨迹预测模型；步骤3、轨迹片段构建及外观相似度计算：对于给定的视频序列，根据每一帧中所有目标的检测框集合，分别计算帧间两个检测框的帧间视觉相似度、帧间位置平滑相似度和帧间尺寸相似度；其中，帧间视觉相似度的计算方式为：使用颜色直方图作为检测框的视觉特征，并使用直方图的巴氏系数表示帧间两个检测框间的视觉相似度；将帧间视觉相似度、帧间位置平滑相似度和帧间尺寸相似度的乘积大于预设的最低阈值的帧间两个检测框作为备选关联对；并对于同一帧的同一检测框，将备选关联对中帧间视觉相似度、帧间位置平滑相似度和帧间尺寸相似度的乘积最大的备选关联对对应的两个检测框进行点连接，即将每个检测框作为一个轨迹点，从而得到给定的视频序列中的一条轨迹片段；以及采用平均颜色直方图的巴氏系数表示两条不冲突轨迹片段间的外观相似度；步骤4、轨迹预测及运动相似度计算：对于每一对不冲突的轨迹片段对(t_i,t_j)，其中i,j为轨迹片段区分符；基于训练好的深度轨迹预测模型对轨迹片段t_i进行轨迹预测，得到轨迹预测结果；得到未来连续多帧的位置信息；再根据公式A_m(t_i,t_j)＝G(Δp‑μ_m,Σ_m)计算轨迹片段间的运动相似度A_m(t_i,t_j)，其中，Δp是轨迹片段t_i的轨迹预测结果与轨迹片段t_j间的平均距离，G()表示高斯函数，μ_m，Σ_m分别为高斯函数G()的均值和方差；步骤5、数据关联：对于给定的视频序列，以步骤3生成的各轨迹片段为节点，构建最小费用最大流网络流模型，并将轨迹片段间的外观相似度和运动相似度的融合结果作为所述最小费用最大流网络流模型中边的费用；基于边的费用，使用连续最短路算法求解模型，完成数据关联，得到每个目标的跟踪结果。