[发明专利]一种相似度计算方法和多目标跟踪方法

说明书

本发明公开了一种相似度计算方法和多目标跟踪方法，对于每一视频帧中每个目标，计算目标的近邻，再利用目标与其近邻的目标外观特征构建顶点集合，利用目标之间的相互关系计算出有向边集合，从而构建一个有向图；对于相邻视频帧，利用两个视频帧中各目标的有向图进行匹配计算，获得相似度计算结果。本发明同时利用了目标的外观特征和目标之间的相对位置特征，并且，目标之间的拓扑结构也被很好地编码到有向图中。本发明提高了多目标追踪的准确度、精确率；且可在某个目标被其他目标遮挡严重时找回丢失的目标；可以获得更多的跟踪目标个数减少丢失目标个数。

技术领域

本发明属于计算机视觉领域，尤其涉及一种相似度计算方法和多目标跟踪方法。

背景技术

所谓多目标跟踪，是指给定一个视频，算法能输出视频中感兴趣目标的位置框。需要注意的是，视频中目标的数目不固定。在跟踪的过程中，还要为每个目标分配一个唯一的身份信息(即编号，用ID表示)。多目标跟踪具有广泛的应用，如智能监控，自动驾驶等。随着目标检测的快速发展，基于检测的多目标跟踪方法逐渐成为主流。而这类方法中，主要是用数据关联来解决多目标跟踪问题。

一般来说，一个鲁棒的相似度模型是解决数据关联的关键。现有方法中，大部分都是基于目标个体本身的特征来计算目标之间的相似度，即这种相似度模型没有考虑到目标之间的相互关系。虽然随着深度学习技术的发展，目标的特征表示能力也越来越强，这种基于目标个体特征计算的相似度在某种程度上来说也具有一定的鲁棒性。但是，这种计算方式在复杂场景下仍有局限性。比如，当跟踪的目标属于同一类别时(如行人跟踪，车辆跟踪等)，这些目标的外观具有一定的相似性，而且目标之间难免会存在频繁的遮挡。如图1所示，展示了行人跟踪下的一种复杂场景。图1的(a)部分展示了相邻两帧图片，可以看出，该场景中，不同行人的衣着比较相似，而且行人之间也具有一定的遮挡。图1的(b)部分展示了基于目标个体特征计算的相似度得分，基本流程为：先提取单个目标的个体特征(Individual Representation)，再进行相似度计算(Similarity Measure)；可以看到，当行人被遮挡时，计算出来的相似度得分比较低，且当不同的行人衣着相似时，计算出来的相似度得分却比较高。因此，在这种复杂场景下，基于目标个体特征计算的相似度得分不够可靠。

目标的外观特征在目标跟踪中被广泛使用。比较早期的工作利用手工设计的外观特征进行多目标跟踪。比如Yamaguchi等人在文章“Who are you with and where are yougoing？CVPR2011”中利用原始像素模板(raw pixel template)，Izadinia等人在文章“(MP)2:multiple people multiple parts tracker.ECCV 2012”中用到了颜色直方图(Colorhistogram)和梯度直方图(Histogram of Oriented Gridients,HOG)。近年来随着深度学习的发展，利用卷积神经网络(Convolutional Neural Network,CNN)提取的外观特征被广泛应用到多目标跟踪领域。

目标的运动信息也被广泛应用到多目标跟踪领域。这些利用了运动信息的方法中，基本都基于一个假设，那就是目标的运动是平滑且缓慢的。Milan等人在文章“Continuous energy minimization for multitarget tracking.TPAMI 2013”中设计了线性运动模型，Yang等人在文章“Multitarget tracking by online learning of non-linear motion patterns and robust appearance models.CVPR 2012”中设计了非线性运动模型。但是目标在视频中的运动并不仅仅是由目标本身决定的，还和拍摄的设备有关。在拍摄的过程中，设备难免会存在一定的抖动，这种抖动一般都是随机的、不可预测的。因此，简单地依靠运动模型很难解决相机的抖动问题。