[发明专利]一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法

摘要

一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，首先读取视频帧中的任意两帧图像，将预处理过的图像输入到多目标检测器中，得到视频中各帧的检测结果。引入了目标遮挡机制，该判断机制根据目标中心点的坐标和目标的大小来判断，若被遮挡部分较小或无遮挡时，检测器将检测框的质心坐标和预处理视频帧输入到预训练的卷积神经网络中，提取目标的浅层和深层的语义信息，并级联起来构成特征矩阵，再将两帧的特征矩阵进行相似性估计，得到最优轨迹。如果检测到的目标遮挡情况严重，则将检测框的质心坐标输入到卡尔曼滤波器中，根据目标之前的运动状态来估计该目标在下一帧中的位置信息，用估计的坐标信息和实际检测结果相比对，得出最佳的轨迹。

主权项

1.一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：所述方法包括以下步骤：步骤1，将长视频序列中，最大间隔为δ_b的任意两帧图像进行预处理；步骤2，将预处理后的图像输入到Faster R‑CNN多目标检测器中；步骤3，首先判断Faster R‑CNN多目标检测器输出的检测结果的遮挡情况，如果遮挡不严重，将预处理后的两帧图像和检测器所输出的检测框的质心坐标输入到预训练好的卷积神经网络中；如果遮挡严重，将检测器所输出的检测框的质心坐标输入到卡尔曼滤波器中，根据目标之前的运动状态来估计该目标在下一帧中的位置信息，得到估计的坐标信息即质心坐标预测值；所述卷积神经网络是以ResNet为基础网络，ResNet层之后，通过使用更深层次的卷积层，将超过56×56的feature map的空间维度进行缩减；后使用扩展网络逐渐将feature map缩减到3×3的尺寸，再将提取的feature map进行级联，得到表观特征矩阵；步骤4，如步骤3所述，在目标遮挡不严重或未发生遮挡的情况下，利用深度卷积神经网络提取的表观特征矩阵进行相似度估计，得到表观特征相似度矩阵；在遮挡严重的情况下，利用获取的运动目标的质心坐标检测值和步骤3获取的质心坐标预测值进行指派，得到运动相似度矩阵；步骤5，利用匈牙利算法，分别将表观相似度矩阵和运动相似度矩阵作为代价矩阵进行数据关联；步骤6，根据目标遮挡机制，分别利用数据关联矩阵进行轨迹段匹配；步骤7，利用当前帧完成匹配的检测框更新卡尔曼滤波器，并将当前帧的表观特征矩阵加入到表观特征矩阵集合中，更新表观特征矩阵集合；将未与轨迹段相匹配的检测框初始化一条新的轨迹，设为暂时轨迹段；若连续10帧都能检测到，则将此轨迹段设置为永久轨迹段；将未与检测框相匹配的轨迹段设为暂时状态，继续进行预测，并与下一帧检测结果进行数据关联，并将此轨迹段保留δ_w帧，若该目标连续δ_w帧未被关联，则将该未被关联的预测结果对应的目标的轨迹删除。