[发明专利]一种基于深度学习和数据关联的在线多目标跟踪方法

说明书

本发明公开了一种基于深度学习和数据关联的在线多目标跟踪方法，包括如下步骤：1、输入视频当前帧的图像；2、应用目标检测器得到图像中所有的检测响应；3、利用深度余弦度量学习模型提取检测响应的外观特征；4、初始化目标状态；5、利用卡尔曼滤波算法预测目标在下一帧的位置和尺度；6、基于两阶段数据关联将目标与检测响应的匹配关联，得到最优关联结果；7、根据步骤6中的最优关联结果更新目标的状态和特征；8、输入下一视频帧的图像，重复步骤2、3、4、5、6、7，直到视频结束。与现有技术相比，本发明能在目标交互与遮挡、目标间具有相似外观等复杂情况下，实现目标之间的正确关联，完成鲁棒且持续的多目标跟踪。

技术领域

本发明涉及一种目标跟踪方法，特别涉及一种基于深度学习和数据关联的在线多目标跟踪方法，属于计算机视觉领域。

背景技术

多目标跟踪技术是计算机视觉领域中特别重要的一个分支，广泛用于各种各样的视频分析场景，比如自动驾驶汽车、机器人导航、智能交通视频监控及运动分析等。

在线多目标跟踪的任务是逐帧可靠地估计目标的位置并跨帧跟踪同一个目标来估计多个目标的轨迹。近年来，由于深度学习的发展，目标检测算法的性能不断提升，检测响应更加可靠，基于检测的跟踪(Tracking-by-detection)框架受到广泛关注，并取得了显著的效果，成为当前多目标跟踪的主流。在这种跟踪框架下，首先应用离线训练好的目标检测器独立地对每帧图像中的目标进行检测，得到目标的数目和位置，然后，依据目标的外观、运动等信息，将相邻帧中检测出的目标进行关联，实现目标的匹配和跟踪。基于检测的跟踪算法可分为两类：离线跟踪和在线跟踪。

目前，基于检测的跟踪算法也面临着诸多挑战，跟踪效果严重依赖于检测器的性能，在复杂的场景中，当目标和障碍物，或者目标之间发生严重的遮挡时，多目标跟踪算法很容易跟丢目标或者目标编号发生错乱。其次，目标检测器的检测噪声和目标尺度的剧烈变化也会导致多目标跟踪算法发生跟踪漂移。

发明内容

发明目的：针对在复杂场景中具有相似外观的目标相互遮挡时，现有多目标跟踪技术存在严重编号切换、跟踪漂移等问题，本发明提出了一种基于深度学习和数据关联的在线多目标跟踪方法。

本发明提出了一种新的多目标跟踪方法，从多个角度解决多目标跟踪问题。1)采用深度余弦度量学习模型设计了目标的外观模型，利用多层卷积网络从目标图像中提取特征，以特征向量之间的余弦作为目标外观之间的相似性，实现不同目标外观的有效辨识；2)考虑到目标外观动态变化的连续性，构建一种融合多帧历史外观特征的目标外观相似性度量方法，能有效缓解检测器的缺陷或目标相互遮挡对目标匹配精度的影响；3)提出基于目标状态的两阶段数据关联方法，针对目标的可靠性分别设计对应的关联策略，并采用匈牙利算法进行数据关联。在拥挤、频繁遮挡发生的复杂交通场景下，该算法能实现准确、稳定的多目标跟踪。

技术方案：一种基于深度学习和数据关联的在线多目标跟踪方法，其特征在于，所述方法包括如下步骤：

步骤1：输入视频当前帧的图像；

步骤2：应用目标检测器得到图像中所有检测响应的集合D^t＝{D₁,D₂,…,D_M}，t为当前帧号，D_j为第j个检测响应，表示为其中/为检测响应D_j的中心点坐标，/为检测响应D_j的宽和高，M为检测响应总数；

步骤3：利用深度余弦度量学习模型从检测响应集合D^t中的所有检测响应提取外观特征向量，表示为{Z₁,Z₂,…,Z_M}，其中Z_j∈R^p为检测响应D_j的外观特征；