[发明专利]一种基于广义最小团图和禁忌搜索的多目标跟踪方法

说明书

本申请公开了一种基于广义最小团图和禁忌搜索的多目标跟踪方法，包括以下步骤：步骤1、在一段视频的各帧图像中进行目标检测，当在一帧或多帧图像中检测到一个或多个目标时，记录并输出被检测到的各个目标在相应帧图像中的位置、相应帧图像在视频中的时间位置及各个目标在相应帧图像中的大小；步骤2、根据每帧图像中的各个目标的像素值及所述各个目标在相应帧图像中的位置以及大小，计算每帧图像中的各个目标的外观特征及运动特征；步骤3、根据所计算的每帧图像中的各个目标的外观特征及运动特征，在已记录的各个目标在相应帧图像中的位置中提取出属于同一目标的多个位置，并根据相应帧图像在视频中的时间位置，将其连接成为同一目标的轨迹。

技术领域

本发明属于模式识别和智能视频监控领域，涉及多目标的特征提取与匹配、运动状态估计和跟踪。本发明提出了一种基于广义最小团和禁忌搜索方法的多目标跟踪方法，可以同时对监控视频中的多个行人进行跟踪。

背景技术

由于智能视频监控系统中检测的事件大部分与个人的动作或多人的互动关系有关，在个人动作识别时要解决所提特征的对象归属问题，在分析多人之间的互动关系时必须首先获得各个对象的运动轨迹，这都需要对已检测到的行人进行有效地跟踪。

对于单目标跟踪，根据人体表示方法的不同，现有的人体跟踪方法可以分为特征点跟踪方法、轮廓跟踪方法和核跟踪方法。特征点跟踪方法首先在目标区域内检测特征点，并在特征点周围提取可以有效描述目标的描述子，当输入下一帧图像时，在图像中提取相同的特征点，并对特征点进行描述，通过描述子对两帧内的特征点进行匹配，匹配上的点的坐标即为目标在两帧图像中的位置；活动轮廓跟踪方法首先需要提取目标的轮廓，目标轮廓随时间可能发生变化，需要采用一定的方法不断更新目标轮廓。在跟踪过程中，一方面目标轮廓可以作为跟踪的依据，另一方面还可以在轮廓内部提取图像特征用于跟踪；核跟踪方法不需要提取目标轮廓，只是在目标的边界框(Bounding Box)内提取目标的外观特征，例如颜色直方图、纹理直方图等，通过特征之间的核计算达到快速匹配的目的，进而对各个目标进行跟踪，核跟踪方法还可以利用多核同时考虑多种外观特征，达到更好的鲁棒性。

对于多目标跟踪问题，需要解决各个目标之间的相互关系问题，这一问题被称为数据关联(Data Association)问题，即找到多个观察值与多个目标状态之间的对应关系。多目标跟踪方法可以由比较成熟的单目标跟踪方法直接扩展而来，该类方法初始化多个单目标跟踪子(Tracker)对各个目标进行跟踪，每检测到一个新的目标就初始化一个新的跟踪子。还有一类多目标跟踪方法是将问题抽象为图论中的特定问题，如最大权值图等，该类方法首先需要进行目标检测，目标检测结果一般作为图中的点，各个目标之间运用一定的策略建立边，边的权值一般为目标间的相似度。相对于由单目标跟踪扩展而来的多目标跟踪方法，该类方法综合考虑全局信息，而且运用较为成熟的图论方法，具有完备的理论基础，实验结果也表明其达到了更好的多目标跟踪性能。

发明内容

本发明利用广义最小团和禁忌搜索方法对多目标进行跟踪即属于多目标跟踪方法。另外，本发明在设计禁忌搜索方法时融合了高效的单目标跟踪方法，使该方法能够快速有效的进行多目标跟踪。

在本发明中，多目标跟踪问题被抽象为广义最小团问题(Generalized MinimumClique Problem，GMCP)，并运用禁忌搜索方法进行求解。首先，在视频帧中利用行人检测方法检测各个目标；其次，将视频分割成若干视频片段(segment)，在各个视频片段内行人的运动状态和外观特征保持不变；再次，将一个视频片段内被检测到的各个目标抽象成图中的顶点，并在顶点间建立有权边；然后，利用禁忌搜索方法解广义最小团问题，进而得到视频片段内的多个目标的轨迹片段(tracklet)；最后，将各个视频片段内的轨迹片段进行连接，得到各个目标的完整轨迹(trajectory)。