[发明专利]基于联合推理的视频多目标跟踪方法

说明书

技术领域

本发明涉及的是一种视频处理技术领域的方法，具体是一种基于联合推理的视频多目标跟踪方法。

背景技术

随着摄像头设备的发展和普及，视频跟踪在生产和生活中占有了越来越重要的地位。特别是在视频监控系统中，跟踪算法可以有效的降低人工成本，节约时间。然而由于跟踪技术本身的不完善以及复杂多变的跟踪环境，影响了跟踪结果的准确性，使跟踪算法的应用受到了限制。

视频中的目标跟踪是非常有挑战性的课题，因为跟踪过程中有很多的不确定因素，比如：复杂的背景，若背景与被跟踪目标相似，会干扰跟踪算法对目标位置的判断；明显的物体遮挡、目标外形的快速变化，这些都会导致目标在画面中的外观有明显的变化，导致算法丢失被跟踪目标。对于多目标跟踪而言，除了上述的问题，各个目标之间的相似性、相互作用和相互遮挡都会给正确跟踪带来难度。

针对这些问题一般的处理方法往往是采用检测算法与跟踪算法相结合的方法，也就是利用检测算法来提高最终跟踪的效果。然而，在检测算法的正确性难以保证的前提下，是否能提高跟踪率仍是个问题。

经过现有技术的文献检索发现，很多学者利用自适应学习的方法来确保检测器的正确性，从而处理检测结果与跟踪结果互相协调的问题，比如Zdenek等在《IEEE Transaction on Pattern Analysis and Machine Intelligence》（2012年第34期第1409-1422页）上发表的“Tracking-Learning-Detection”，该文利用了“跟踪-学习-检测（TLD）”的框架结构，利用跟踪与检测相结合的方法处理跟踪问题。具体的说，首先，输入一帧图像，图像栅格化后，得到大量的图像区块；然后，跟踪器筛选出符合要求的图像区块，检测器也标定所有在外观上可能成为目标的图像区块；最后，采用跟踪环节和检测环节相结合的方法，当跟踪器失败时可以利用检测器的结果重新初始化跟踪器，同时利用跟踪结果扩充训练样本集在线训练检测器，提高检测器的精度。从该技术公开的实验结果可见，TLD在长时间跟踪上有很好的效果。不过该方法仍然存在很多限制：1）只适用于单目标跟踪2）如果目标的外观发生了较大的变化，或者发生了完全遮挡，该方法效果不好，这是因为在这种情况下在线检测器不能正确给出目标的可能位置。

中国专利文献号CN103176185A申请公布日:2013.06.26，公开了一种用于检测道路障碍物的方法及系统，该技术基于视频摄像装置的第一障碍物检测模型，基于视频摄像装置和毫米波雷达的第二障碍物检测模型，基于三维激光雷达和红外线摄像装置的第三障碍物检测模型，并且通过基于粗糙集的模糊神经网络算法使得所述多个模型形成互补检测，从而实时获取道路障碍物的特征信息。但该技术设备成本高，也不能对障碍物做有效跟踪从而结合历史信息做出跟准确的检测结果。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于联合推理的视频多目标跟踪方法，能够解决多目标跟踪下跟踪技术中对于检测跟踪算法结合的处理方法以及多目标相互关系的处理，利用联合函数来描述多目标之间关系，不仅解决了检测与跟踪的结果融合问题，同时也从全局考虑，综合了每个目标之间的关系，得出了全局最优解。

本发明是通过以下技术方案实现的，本发明通过首先读入视频文件的一帧图像并对其进行图像栅格化处理，然后采用在线检测器以及作为跟踪器的KLT跟踪算法标定目标的候选位置，分别筛选后综合结果，其次将得出的候选位置结果进行量化评分，最后利用联合函数来描述目标跟踪情况并将基于联合函数的最优解作为目标在这一帧的位置，即实现目标跟踪。

当所述的图像为视频文件的第一帧，则在图像栅格化处理前先进行初始化操作，具体为：手动输入需要跟踪的目标个数，然后手动框出目标。

所述的初始化操作是指：初始化检测器与跟踪器，通过random fern在线学习的方法更新检测器，同时基于KLT算法的跟踪器也会在目标范围内选出特征点，用于下一帧的目标跟踪。

所述的图像栅格化处理，是指：用大小不一的滑动窗口扫描整帧图像得到不同位置大小不同的图像块，用来作为候选目标，具体为：首先根据初始化目标的大小，等比得出一系列不同尺度大小的滑动窗口，尺度变换的比例范围是1.2^-10～1.2¹⁰；每个滑动窗口依次按照从左到右从上到下的顺序遍历整幅图像，滑动窗口位移大小为窗口大小的0.1。这样，就可以得到很多不同位置大小不同的图像块。

所述的候选位置通过以下方式得到：