[发明专利]一种基于深度学习和数据关联的在线多目标跟踪方法

权利要求书

1.一种基于深度学习和数据关联的在线多目标跟踪方法，其特征在于，所述方法包括如下步骤：

步骤1：输入视频当前帧的图像；

步骤2：应用目标检测器得到图像中所有检测响应的集合D^t＝{D₁,D₂,…,D_M}，t为当前帧号，D_j为第j个检测响应，表示为其中/为检测响应D_j的中心点坐标，为检测响应D_j的宽和高，M为检测响应总数；

步骤3：利用深度余弦度量学习模型从检测响应集合D^t中的所有检测响应提取外观特征向量，表示为{Z₁,Z₂,…,Z_M}，其中Z_j∈R^p为检测响应D_j的外观特征；

步骤4：初始化目标状态，将目标状态分为4类：初始状态、跟踪状态、丢失状态和删除状态；如果t＝1，即输入视频的第一帧，产生目标集合T^t＝{T₁,T₂,…,T_N}，N＝M，目标T_j与检测响应D_j对应，并将目标T_j的状态置为初始状态，转到步骤1；否则，转到步骤5；

步骤5：应用卡尔曼滤波算法，预测目标集合T^t-1中的每个目标T_i在当前帧中的位置和尺度，表示为其中/为预测的中心点坐标，/为预测的宽和高；

步骤6：基于两阶段数据关联将目标与检测响应匹配关联，得到最优关联结果；

步骤7：根据步骤6中的最优关联结果更新目标的状态和特征；

步骤8：输入下一视频帧的图像，重复步骤2、3、4、5、6、7直到视频结束。

2.根据权利要求1所述的一种基于深度学习和数据关联的在线多目标跟踪方法，其特征在于，所述步骤6基于两阶段数据关联的目标状态与检测响应的匹配关联，包括：

(a)基于前一帧中所有目标的状态，将目标集合T^t-1＝{T₁,T₂,…,T_N}划分为两类Ω₁和Ω₂，Ω₁∪Ω₂＝T^t-1，Ω₁由处于初始状态和跟踪状态的目标组成，Ω₂由处于丢失状态的目标组成，N为目标总数；

(b)计算Ω₁中的每个目标与D^t中的每个检测响应的匹配相似度，得到相似度矩阵A₁；以-A₁为关联代价矩阵，将Ω₁中的目标与D^t中的检测响应进行关联，应用匈牙利算法求解最优关联；依据关联结果将Ω₁与D^t进行划分：D^t＝D^A∪D^B，其中/中的目标与D^A中的检测响应成功关联，/为未关联的目标集合，D^B为第一阶段未关联的检测响应集合；

(c)计算Ω₂中的每个目标与D^B中的每个检测响应的匹配相似度，得到相似度矩阵A₂；以-A₂为关联代价矩阵，将Ω₂中的目标与D^B中的检测响应进行关联，应用匈牙利算法求解最优关联；依据关联结果将Ω₂与D^B进行划分：其中/中的目标与/中的检测响应成功关联，/为未关联的目标集合，/为第二阶段未关联的检测响应集合。