[发明专利]一种基于行人重识别的多目标跟踪方法

说明书

本发明公开了一种基于行人重识别的多目标跟踪方法，包括：建立并离线训练行人重识别模型；从相邻的两帧图像中，分别提取目标特征向量M和N；计算出目标特征向量M和N之间的最终相似度矩阵；利用Kuhn‑Munkres算法求解最优匹配路径，得到目标特征向量M和N之间的最优匹配；在线更新行人重识别模型参数。采用本发明不仅能够有效识别出目标与背景之间的区别特征，当多个同类目标出现时，还能够识别出多个目标之间的区分特征，进而快速匹配目标，实现多目标的准确跟踪。

技术领域

本发明涉及计算机人工智能领域，特别涉及一种基于行人重识别的多目标跟踪方法。

背景技术

在视频图像处理中，目标跟踪算法是非常重要的。

通过目标跟踪得到目标在图像中的运动轨迹后，对于后续进行目标个数统计，目标行为分析等非常有意义的。

一般情况下我们需要跟踪的目标为人和车辆。

由于车辆目标相对较大，又是刚性物体，所以跟踪起来相对比较容易，而对于行人的跟踪，由于姿态变化，光照变化，部分遮挡，背景相似干扰等原因，一直是一个难题。

多目标跟踪技术，从早期的Generative models逐步发展为目前的Discriminative models方法。

早期的Generative models主题思想就是对目标提取一个特征，然后在后续的视频序列中进行特征匹配，进而确定目标的位置，代表性的算法有NCC，SSD，SAD等。但是这种算法有一个明显的缺点，只考虑了目标和自己的相似度，没有考虑和背景的相似度。当目标和背景在纹理和颜色稍微相近时，很容易跟丢目标。

现在目标跟踪算法基本被Discriminative models算法所取代。核心思想是在线学习出和背景有区分度的特征。典型的算法有TLD，KCF等。这类算法也有一个明显缺点，就是只考虑和背景的区分度，没有考虑目标之间的区分度，也就是说当多个同类目标出现时，跟踪目标很容易误匹配。

最近，深度学习大行其道，出现了利用深度学习模型来提取目标特征，进而进行跟踪的算法。比如首先利用fasterRCNN或者SSD检测算法得到一系列观测值，然后在featuremap的对应位置上提取特征作为目标特征，该特征只具有类别间的区分度，并不具备个体的区分度。还有一些算法利用了多帧图像的CNN卷积特征，但是这种特征只是利用了目标本身的多帧信息，仍然无法得到目标之间有区分度的特征。

基于此，本文提出了利用行人重识别特征来进行跟踪的算法。

发明内容

本发明目的是：提出一种基于行人重识别的多目标跟踪方法，其首次创造性的讲行人重识别技术和多目标跟踪技术融合在一起，并大大提升了跟踪的效果。

本发明解决其技术问题所采用的技术方案是：

一种基于行人重识别的多目标跟踪方法，包括如下步骤：

S1、建立行人重识别模型，并离线训练行人重识别模型；

S2、假设相邻的两帧图像分别为A和B，且A图像中的目标个数为M个，B图像中的目标个数为N个，则利用行人重识别模型，从相邻的两帧图像中，分别提取目标特征向量M和N；

S3、将目标特征向量M和N之间的余弦距离作为特征相似度，并根据其余弦距离计算出目标特征向量M和N之间的相似度矩阵SM和距离矩阵DM；

S4、利用距离矩阵DM对相似度矩阵SM进行加权，得到目标特征向量M和N之间的最终相似度矩阵；

S5、将最终相似度矩阵作为目标特征向量M和N之间相似度权重，将目标特征向量M和N之间的多目标的跟踪问题抽象为带权二分图的最优匹配问题，然后利用Kuhn-Munkres算法求解最优匹配路径，得到目标特征向量M和N之间的最优匹配；