[发明专利]一种基于异构图网络的多目标跟踪方法

说明书

本发明提供一种基于异构图网络的多目标跟踪方法，应用于多目标跟踪中。首先使用目标检测算法得到目标检测框，然后使用光流计算和线性回归操作进行视频帧之间的数据关联。为了解决目标遮挡问题，该模型在数据关联之后使用异构图网络提取检测框和跟踪目标的特征进行相似性度量，判断新出现的检测框是否属于已有的目标。异构图网络包括外观特征提取，空间关系提取和时间关系提取三部分，用于学习判别性特征，以进行目标的外观、空间位置及时间关系等信息的编码，提高特征的表示能力和判别能力，从而提高多目标跟踪的性能。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于异构图网络的多目标跟踪方法。

背景技术

随着深度学习的发展，卷积神经网络应用在越来越多的场景中，而多目标跟踪由于其在视频监控、人机交互和虚拟现实中的广泛应用，在计算机视觉领域受到越来越多的重识。多目标跟踪旨在定位给定视频序列中的多个目标对象，为不同的对象分配不同的身份ID并记录每个ID在视频中的轨迹。目前，随着基于卷积神经网络的目标检测技术不断发展，基于检测的跟踪算法已成为多目标跟踪的主流方向。基于检测的跟踪算法首先需要在每个视频帧上执行目标检测获取每帧的检测结果，然后根据检测结果进行数据关联以创建每个对象在视频中的轨迹。

在基于检测的跟踪算法中，学习具有判别性的目标特征表示显得非常重要，它决定了跟踪器是否可以正确区分不同目标之间的轨迹。但是，由于摄像机拍摄的视频中目标外观比较模糊，现有的大多数方法仅考虑了目标的外观特征而无法准确地识别和区分不同目标，而且这些方法主要解决数据关联的问题，无法处理视频中存在的频繁遮挡问题，这直接影响了算法性能的提升。

在基于检测的多目标跟踪中，大多数方法主要研究数据关联问题，即设计鲁棒性的模型进行相邻视频帧之间相同目标的关联，得到视频序列中所有目标的轨迹。然而，上述方法忽视了遮挡问题对目标轨迹的影响，将遮挡后的目标作为轨迹已经终止的目标进行处理，这种方式直接影响了多目标跟踪的性能。最近，一种使用目标检测算法中的回归器进行数据关联的多目标跟踪方法达到了不错的跟踪效果，而且对目标遮挡问题做了进一步处理，如图5所示，输入视频序列和使用公共目标检测算法得到的该视频序列中所有目标检测框的位置，然后使用目标检测算法Faster RCNN中的回归器进行视频帧之间的数据关联，并使用卷积神经网络ResNet-50提取目标和检测框的外观特征，进行目标重识别以判断视频帧中新出现的检测框是否属于已经终止的目标轨迹，最后输出经过上述操作后得到的目标轨迹。这种方法的性能优于现有的大多数多目标跟踪方法，但是其仅考虑目标的外观特征而忽略了多目标跟踪场景中的空间拓扑、时间关系等信息。

发明内容

本发明的实施例提供了一种基于异构图网络的多目标跟踪方法，用于解决现有技术中存在的如何在充分利用多目标跟踪视频数据的条件下寻找一种能够增强目标判别性的特征表示方法；在多目标跟踪视频数据像素低，目标模糊，光线不同，视角不同，目标存在遮挡的情况下，如何在外观特征的基础上提升目标特征表示的判别力，并解决遮挡的技术问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于异构图网络的多目标跟踪方法，其特征在于，包括：

S1基于原始视频序列，通过公共目标检测算法，提取每帧的检测框；

S2基于原始视频序列和检测框，通过数据关联处理，获得每帧图像中目标的位置；

S3基于该目标的位置和检测框，通过异构图网络处理，获得目标特征和检测特征；

S4对该目标特征和检测特征进行相似性度量处理，判断检测框是否属于某个终止目标，若是，则将检测框加入到该终止目标中，并将该终止目标设为活跃状态；否则，为检测框初始化一个新的目标；判断当前帧是否为视频的最后一帧，若是，则结束执行所述的方法；否则，执行所述步骤S2。

优选地，所述的基于原始视频序列和检测框，通过数据关联处理，获得每帧图像中目标的位置包括：