[发明专利]一种基于深度学习和数据关联的在线多目标跟踪方法

摘要

本发明公开了一种基于深度学习和数据关联的在线多目标跟踪方法，包括如下步骤：1、输入视频当前帧的图像；2、应用目标检测器得到图像中所有的检测响应；3、利用深度余弦度量学习模型提取检测响应的外观特征；4、初始化目标状态；5、利用卡尔曼滤波算法预测目标在下一帧的位置和尺度；6、基于两阶段数据关联将目标与检测响应的匹配关联，得到最优关联结果；7、根据步骤6中的最优关联结果更新目标的状态和特征；8、输入下一视频帧的图像，重复步骤2、3、4、5、6、7，直到视频结束。与现有技术相比，本发明能在目标交互与遮挡、目标间具有相似外观等复杂情况下，实现目标之间的正确关联，完成鲁棒且持续的多目标跟踪。

主权项

1.一种基于深度学习和数据关联的在线多目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤1：输入视频当前帧的图像；步骤2：应用目标检测器得到图像中所有检测响应的集合D^t＝{D₁，D₂，…，D_M}，t为当前帧号，D_j为第j个检测响应，表示为其中为检测响应D_j的中心点坐标，为检测响应D_j的宽和高，M为检测响应总数；步骤3：利用深度余弦度量学习模型从检测响应集合D^t中的所有检测响应提取外观特征向量，表示为{Z₁，Z₂，…，Z_M}，其中Z_j∈R^p为检测响应D_j的外观特征；步骤4：初始化目标状态，将目标状态分为4类：初始状态、跟踪状态、丢失状态和删除状态；如果t＝1，即输入视频的第一帧，产生目标集合T^t＝{T₁，T₂，…，T_N}，N＝M，目标T_j与检测响应D_j对应，并将目标T_j的状态置为初始状态，转到步骤1；否则，转到步骤5；步骤5：应用卡尔曼滤波算法，预测目标集合T^t‑1中的每个目标T_i在当前帧中的位置和尺度，表示为其中为预测的中心点坐标，为预测的宽和高；步骤6：基于两阶段数据关联将目标与检测响应匹配关联，得到最优关联结果；步骤7：根据步骤6中的最优关联结果更新目标的状态和特征；步骤8：输入下一视频帧的图像，重复步骤2、3、4、5、6、7直到视频结束。