[发明专利]一种目标间关系建模的多目标跟踪方法

说明书

本发明公开了一种目标间关系建模的多目标跟踪方法。包括：对于当前帧检测器输出的目标，利用目标自身的位置、外观特征与目标间的拓扑关系构建帧内图；随后利用消息传递网络对帧内图的顶点、边特征进行更新，以进一步融合目标间的特征；然后结合过去帧的轨迹图与当前的帧内图构建帧间图，帧间图的边表示轨迹与检测的特征相似度；对帧间图进行消息传递过程以进一步融合；随后利用全连接层网络对边代表的匹配关系进行得分计算，并对易漏检的低置信度检测和因遮挡等原因丢失的轨迹进行恢复。本发明的方法利用目标间的拓扑关系建模，可以在相机非线性运动的场景中实现稳定关联，并利用近邻目标信息辅助恢复被遮挡目标的检测；一定程度上克服了主流多目标跟踪算法分立处理目标的缺陷，能够实现非线性运动与遮挡场景下的稳定跟踪。

技术领域

本发明属于计算机视觉技术领域，涉及一种目标间关系建模的多目标跟踪方法。

背景技术

多目标跟踪是一项重要的计算机视觉任务，在安防、自动驾驶、人群密度监测、行为分析、视频内容理解任务中具有重要价值。其通过分析视频，赋予不同的目标以不同的身份，并推理出每个目标在每一帧中的具体位置，进而形成每个目标对应的轨迹。

近年来，多目标跟踪领域发展迅速，在MOT、KITTI、DanceTrack等数据集上取得了良好的效果。然而，由于相机运动具有不确定性，因此容易发生目标非线性运动、目标间遮挡、目标与背景遮挡等情形，这些情形都会导致赋予目标以错误的身份，进而导致跟踪不稳定。

在应对目标的遮挡方面，主要有如下的解决方案：第一类是优化匹配策略，即在检测与轨迹的关联阶段，采用双阈值匹配的方式，并优化关联矩阵的表示。前者可以使遮挡造成的低置信度目标得以恢复，后者得以更好地将外观特征与运动特征进行结合，使得新特征更偏向于可信度高的运动特征或外观特征。第二类是建立额外的网络分支对目标的遮挡直接进行预测，进而弥补漏检。第三类是建立目标特征的记忆库，通过注意力计算等形式将目标的过去若干帧中的特征优化为更鲁棒的特征以应对遮挡的情形。

在应对目标的非线性运动方面。主要有如下的解决方案：第一类是在关联阶段前采用图像配准，通过得到的仿射矩阵更新轨迹的运动坐标，进而在一定程度上抵消相机运动带来的运动坐标突变。第二类是采用轨迹平滑的方式拟合非线性运动。第三类是当判定目标发生较大程度的非线性运动后，弃用经典算法所采用的卡尔曼滤波，而是采用例如具有旋转不变性的运动特征进行匹配。

然而，上述算法均是将目标单一化处理的，即没有考虑到目标间的关系，导致在复杂的场景中保持稳定跟踪的难度变大。具体地，由于同类目标具有相似的外观，因此将目标特征单一化处理具有一定的局限性；对于目标拥挤的场景，容易发生频繁的目标间相互遮挡，对单个目标处理的方式容易在遮挡时混淆目标；对于相机运动造成目标非线性运动的情形，单一化处理轨迹或计算仿射矩阵的方式具有较大的计算量，而相机运动过程中目标间的相对位置可认为基本保持不变，因此对目标间关系进行建模也可以良好地应对该种情形。

因此，目前亟需一种针对目标间关系进行建模的多目标跟踪方法，通过目标间关系处理遮挡与非线性运动等问题，达到在复杂场景中稳定跟踪的效果。

发明内容

有鉴于此，本发明提供了一种目标间关系建模的多目标跟踪方法，能够利用目标间的外观与拓扑关系等，达到在遮挡、非线性运动场景中稳定跟踪的效果。

为实现上述发明目的，本发明的技术方案为：

一种目标间关系建模的多目标跟踪方法，具体步骤包括：

S 1、构建高性能检测器与外观特征提取网络。检测器的输入为视频帧，输出为各个目标的位置与类别。外观特征提取网络的输入为裁剪出的目标区域，输出为目标的外观特征向量。

S2、对于当前帧，为避免遮挡等造成的漏检现象，以较低的置信度阈值筛选出检测候选框。随后采用非极大值抑制对高度重复的检测框进行去重。采用外观特征提取网络提取出各目标的外观特征。