[发明专利]一种基于时空约束的长时目标跟踪方法

说明书

本发明公开了一种基于时空约束的长时目标跟踪方法，其特征在于，包括如下步骤：S100根据图像分割网络，提取拍摄图像的道路区域信息；S200根据道路区域信息与模板帧，通过目标跟踪网络，得到目标位置信息；S300根据目标的历史位置信息计算目标的运动速度矢量；S400道路区域信息和运动速度矢量作为时空约束条件，根据时空约束对目标进行跟踪，得到约束后的目标位置信息。避免了误检测情况的发生，更加精确，具有更快的检测速度，提升了系统的鲁棒性，实现了长时跟踪的目的。

技术领域

本发明属于图像处理和计算机视觉领域，是一种基于时空约束的长时目标跟踪方法。

背景技术

视觉目标跟踪是计算机视觉分析、自动驾驶和姿态估计等领域的一个基本问题，是在不断变化的视频序列中自动定位特定目标。跟踪的核心问题是如何在具有遮挡、出视野、变形、背景杂波等变化的复杂场景中准确、高效地检测和定位目标。

视觉目标跟踪根据视频序列的长短可分为短时跟踪和长时跟踪。在研究初期，目标跟踪主要关注短时跟踪算法，但由于实际生活中的目标总面临被频繁遮挡的问题，导致短时跟踪很难应用于实际工程。近年来，有很多关于目标的长时跟踪算法的研究。通过结合检测器和短时跟踪器，在目标丢失后，能够重新定位和跟踪。对比文件[1]Chao Ma等人提出了长时跟踪LCT算法，在短时跟踪算法基础上增加了检测目标置信度的网络，结合阈值判断目标是否丢失；增加了随机分类器作为在线检测模块，能够在跟踪失败的情况下进行目标的重检测。但是LCT算法的跟踪置信度分数可靠度不高且内部的SVM分类器检测能力较弱。对比文件[2]Mengmeng Wang等人提出的多峰检测和高置信度更新算法LMCF，只有在跟踪置信度比较高的时候才更新跟踪模型，避免目标模型被污染，同时提升速度。第一个置信度指标是最大响应分数Fmax，等同于LCT的操作，第二个置信度指标是平均峰值相关能量，反映响应图的波动程度和检测目标的置信水平。但是当使用CNN特征时，速度远低于实时。对比文件[3]Bo Li提出DaSianRPN，之前的算法虽然跟踪的框已经回归的比较好了，但是响应的分数仍然相当不可靠，具体表现为在丢失目标的时候，分类的分数仍然比较高，作者分析是训练过程中的样本不均衡造成的。通过加入检测数据生成的正样本之后，模型的泛化性能得到了比较大的提升；通过用不同类之间的样本构建难例负样本，从而增强分类器的判别能力。以上两个改进大大改善了相应分数的质量，在丢失目标的时候，相应分数随之变得很低，说明跟踪器的判别能力得到了改善。对比文件[4]在当前帧以跟踪目标在上一帧图像的所在位置为中心选取候选区域，获取候选目标所对应的目标位置，准确的判断目标是否异常；并在目标异常时在当前帧图像中以上一帧图像的所在位置为中心重新扩大选取范围进行检索实现目标长时间跟踪的目的。对比文件[5]在TLD算法的基础上，检测模块采用由粗到精的策略，先通过帧差法前景检测粗略确定目标位置，缩小检测范围，再由级联分类器精确检测，减小计算量，提高检测速度；在跟踪模块采用核相关滤波算法实现跟踪功能，提高跟踪的鲁棒性和精确度。

现有算法都是在遮挡发生后通过结合检测和跟踪来重新定位目标，但是基于深度特征的重新定位会面临当图像上存在干扰物与被跟踪目标相似时的误检测，导致跟踪很难再继续正常进行，这种影响很难通过扩充训练数据集或者迭代训练来避免。

发明内容

为了解决现有技术中存在干扰物与被跟踪目标相似时误检测，导致难以正常跟踪的问题，提出了一种基于时空约束的长时目标跟踪方法，实现长时跟踪的目的。

一种基于时空约束的长时目标跟踪方法，包括如下步骤：

S100根据图像分割网络，提取拍摄图像的道路区域信息；

S200根据道路区域信息与模板帧，通过目标跟踪网络，得到目标位置信息；

S300根据目标的历史位置信息计算目标的运动速度矢量；

S400道路区域信息和运动速度矢量作为时空约束条件，根据时空约束对目标进行跟踪，得到约束后的目标位置信息。