[发明专利]一种基于深度轨迹预测的多目标跟踪方法

说明书

本发明公开了一种基于深度轨迹预测的多目标跟踪方法，其整体步骤包括为：为多目标跟踪系统构建基于长短时记忆网络的轨迹预测模型；使用真实跟踪场景的轨迹数据训练轨迹预测模型；使用目标检测的外观特征构建保守的短时轨迹片段并计算轨迹片段间的外观相似度。使用训练好的轨迹预测模型在线上对目标进行深度轨迹预测，并得到轨迹片段间的运动相似度，综合考虑外观相似度和运动相似度，设置目标跟踪的网络模型完成多目标跟踪。本发明为多目标跟踪系统构建了基于长短时记忆网络的轨迹预测模型，相较传统方法，本发明的方法能够充分考虑目标的历史轨迹信息和场景信息，计算鲁棒性更佳的目标间运动相似度，进而提升多目标跟踪效果。

技术领域

本发明涉及计算机视觉和深度学习技术领域，尤其涉及一种基于深度轨迹预测的多目标跟踪方法。

背景技术

多目标跟踪是计算机视觉领域的一个研究热点，在现实生活中有着非常广泛的应用，例如视频监控、体育赛事分析、生物学研究、人机互动、机器人导航、无人驾驶等。根据目标初始化方法的不同，可以将目前大多数多目标跟踪算法分为基于检测的跟踪(Detection-Based Tracking,DBT)和无检测的跟踪(Detection-Free Tracking,DFT)，其中基于检测的跟踪算法越来越受大家的欢迎。

尽管经过学者们几十年的努力研究，多目标跟踪任务仍然远远没有达到类人的精度，这主要是因为多目标跟踪任务中几个非常棘手的问题：目标个数不确定且动态变化，目标间的频繁遮挡、目标间的相似外观、目标的复杂运动情况、目标间可能存在的交互等。现有的多目标跟踪算法中，往往使用目标间的外观相似度和运动相似度进行数据关联，在运动相似度的计算部分，大多数方法通常将目标的运动特性描述为线性运动或某种特定的非线性运动，这很难准确地描述目标在真实世界中的复杂运动情况。

深度学习的发展也推动了多目标跟踪的发展，但相对其他计算机视觉任务而言，深度学习在多目标跟踪领域的应用还有极大的发展空间。在最基本的深度学习网络结构中，循环神经网络的特点和优势在于它能够考虑历史输入信息，因此它在自然语言处理等众多序列处理任务中表现出了卓越的性能。

在多目标跟踪系统中，优良的运动特征能够在一定程度上解决目标形变、目标遮挡、目标相似外观等问题，且准确的轨迹预测结果能够减小目标跟踪算法的搜索空间。因此如何对目标的复杂运动情况进行更准确的建模，提取目标更优的运动特征，得到更准确的轨迹预测结果是提升多目标跟踪性能的重要思考方向。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于深度轨迹预测的多目标跟踪方法。

本发明的基于深度轨迹预测的多目标跟踪方法，包括下列步骤：

步骤1、构建深度轨迹预测模型：

构建基于长短时记忆网络(Long Short-Term Memory Network,LSTM)的深度轨迹预测模型，该模型以目标的历史轨迹和目标所处环境的场景信息为输入，经预设的嵌入向量函数对每个时刻的输入进行嵌入向量处理后连接为一个向量，并作为当前时刻的输入向量；再经过长短时记忆网络得到目标的深度运动特征，最后经过全连接层输出目标未来连续多帧的位置信息，作为目标的轨迹预测结果；

其中，目标的历史轨迹和目标所处环境的场景信息包括：目标的位置坐标、场景边界坐标、场景兴趣点坐标和场景目的地坐标；

步骤2、训练深度轨迹预测模型：

采集训练数据集；例如从多目标跟踪平台上选取真实的跟踪数据集，对选取出来的跟踪数据集，从标注文件中计算每个目标连续多帧的检测框中心位置，并选取连续的多帧的数据作为一组训练数据，基于多组训练数据得到训练数据集；