[发明专利]一种基于图匹配的多目标跟踪方法和系统

说明书

本发明公开了一种基于图匹配的在线多目标跟踪算法，将连续两帧之间检测响应的数据关联问题转化为图匹配问题。首先设计了两个深度卷积神经网络分别求解两个图顶点之间的亲密度和两个图边之间的亲密度，然后直接使用顶点之间的亲密度和边之间的亲密度填充两个图之间的亲密度矩阵，最后对亲密度矩阵进行处理得到最终匹配矩阵(即检测之间的关联矩阵)。因此，本发明能够有效体现多目标跟踪过程中真实数据的相关性，跟踪结果的准确性高。

技术领域

本发明属于模式识别技术领域，更具体地，涉及一种基于图匹配的多目标跟踪方法和系统。

背景技术

多目标跟踪(Multiple Object Tracking，简称MOT)在计算机视觉领域扮演着重要角色，其主要任务是在没有任何有关外观先验和目标数量的情况下，分析视频以识别和跟踪属于一个或多个类别的对象，在运动分析、人机交互、视频监控(例如异常行为识别)和自动驾驶等领域中有着重要作用。

现有的多目标跟踪算法的方法主要包括三种，第一种是采用先检测再跟踪策略，即基于检测的跟踪范式首先使用检测器来定位每一帧中感兴趣目标的位置，然后通过数据关联给每一个检测分配一个身份，该策略的核心问题在于数据关联；在多目标跟踪中，数据关联可以看做二分图分配问题，即确定已存在的轨迹与新产生的检测之间的对应关系，然后采用匈牙利算法进行求解；第二种是采用基于图模型的多目标跟踪策略，其利用条件随机场建模检测之间或者轨迹片之间的时空关系；第三种是采用基于机器学习的多目标跟踪策略，其使用卡尔曼滤波器对检测的运动模型进行建模，用于估计检测在下一帧中的位置。

然而，上述现有多目标跟踪方法在数据关联存在一些不可忽略的缺陷：

第一，对于基于先检测再追踪的多目标跟踪方法而言，由于传统的匈牙利算法在求解过程中仅仅使用了顶点之间的关联代价，没有利用顶点的拓扑信息，而这些信息在图匹配中是十分重要的，因此会导致跟踪结果准确率偏低；

第二，在诸如条件随机场的图模型中，图的结构是固定的，这会导致节点和边都是固定的，因此特征不准确的节点和边无法得到修正，从而导致跟踪准确率偏低；

第三，对于使用传统机器学习方法的目标跟踪策略而言，其模型复杂度高，需要人工设计参数。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于图匹配的多目标跟踪方法和系统，其目的在于，将深度学习与传统的图匹配框架相结合求解连续帧之间的检测之间的数据关联问题，从而完成在线多目标跟踪，并进而解决现有多目标跟踪方法中存在的顶点之间的拓扑关系没有充分利用的技术问题，以及基于图模型的多目标跟踪方法中由于结构固定导致目标跟踪准确率偏低的技术问题，以及采用机器学习模型的多目标跟踪方法中由于机器学习模型的复杂度高、需要人工设计参数的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于图匹配的多目标跟踪方法，包括以下步骤：

(1)获取多目标跟踪数据集，其包含输入视频序列、以及输入视频序列中每一帧的检测响应；

(2)设置计数器cnt1＝1；

(3)判断cnt1是否等于输入视频序列的总帧数，如果是则进入步骤(14)，否则进入步骤(4)；

(4)从步骤(1)得到的输入视频序列中获取第cnt1帧和第cnt1+1帧，并根据前一帧构建图G1，根据后一帧构建图G2，图G1和G2分别包括两个顶点集合V1和V2；

(5)分别获取步骤(4)构建的图G1和G2中顶点集合V1和V2中的所有顶点，并将这些顶点分别输入训练好的三元组网络中，以得到各个顶点对应的特征向量；