[发明专利]一种基于自适应模板更新的孪生网络跟踪方法

说明书

本发明涉及一种基于自适应模板更新的孪生网络跟踪方法，用于解决目标跟踪过程中面对遮挡和快速变形等问题时的跟踪精度和鲁棒性低的问题。首先将待跟踪的视频帧和目标模板输入到孪生跟踪模块中，输出预测的目标跟踪边界框；然后将历史跟踪信息输入到轨迹预测模块中，判断是否启动模板更新模块；若启动了模板更新模块，模板更新模块对当前帧使用的目标模板进行更新，更新后的目标模板代替更新前的目标模板作为孪生跟踪模块的输入；重复这一过程完成视频跟踪。本发明使目标模板特征能够适应目标的外观变化，实现了实时跟踪，有效解决了目标在发生被遮挡或快速变形等问题时目标跟踪精度和鲁棒性低的问题。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及的是一种基于自适应模板更新的孪生网络的目标跟踪方法。

背景技术

单目标视觉跟踪是计算机视觉应用中重要的研究方向之一，如图像理解、视频监控、人机交互、自动驾驶等。其目的在于只给出在初始帧中的任意目标，然后估计视频序列中该目标的位置。因为频繁变化的目标、不同的色调、干扰物的存在和环境等方面的因素,目标跟踪的主要挑战之一是如何健壮地表示外观模型。在单目标跟踪中，几乎所有最先进的跟踪器都从两个方面提高跟踪算法的性能。一种是设计有效的算法，称为判别或生成算法模型。前者训练分类器区分目标与背景，后者计算目标与搜索候选目标的联合概率密度，找到最合适的目标。另一种是通过提取人工特征或多层深度卷积特征来优化目标表示能力。但是，使用了复杂的模型或深度特征提高了性能的同时，却也大大降低了跟踪速度。目前，孪生网络框架作为一种生成式跟踪器受到了越来越多的关注，因为它在各种测试基准中的速度和准确性都处于领先地位。基于孪生网络的跟踪算法通过广泛的离线训练来学习不同帧中物体之间的相似性。在线跟踪时，将第一帧中目标所在图像块提取的特征作为模板，在后续帧中将之与获得的搜索区域特征进行相似匹配计算，相似度得分最高的位置作为预测的目标位置。这类方法的目标模板和搜索区域特征是通过离线训练的深度卷积网络在大数据集上获得的，因此具有较高的跟踪精度的同时可以达到实时要求。

现有的技术缺陷：基于孪生网络的目标跟踪算法的跟踪性能依赖于目标模板特征对于目标外形的表示能力，而如Siamfc、SiamRPN、SiamDW等算法的目标模板仅在第一帧中获得,在面对目标被遮挡、快速变形等问题上的鲁棒性很低。目标模板的特征是由深度网络提取的深度特征表示的，这要求目标特征提取方式具有很强的目标表示能力；随着目标发生运动变化或者外形变化时，如相机运动、尺寸变化、被遮挡、变形等，单一不变的模板特征不足以用来表示此时的目标，这要求目标模板特征可以适应目标的外观变化；而设计模板更新策略对模板进行更新的时候，复杂的背景、被遮挡的部分、快速变形导致的模糊等都会造成模板不同程度污染,这要求模板更新策略能够有效的避免污染情况；同时也会增加计算复杂度,大大降低跟踪速度，这要求模板更新策略具有简单、不过分降低速度的特点。因此设计一种简单有效的特征提取方法和模板更新方法是很必要的。

发明内容

鉴于上述现有技术中的不足之处，本发明的目的在于提供一种基于自适应模板更新的目标跟踪方法，利用深度特征不同层间关注特征不同，设计一种有效的特征提取方式；利用长短时记忆网络对时序序列的逻辑回归能力对视频序列中的目标位置进行关联预测，设计一种简单有效的模板更新策略。进而解决目标跟踪过程中面对遮挡和快速变形等问题时的跟踪精度和鲁棒性低的问题。

为了达到上述目的,本发明所采用的技术方案是提供了一种基于自适应模板更新的孪生网络跟踪算法，通过改进提取特征的方法和增加模板更新的模块，来使得模板更好地对目标外观进行表示，其特征主要包括：

1、基于目标跟踪模型，所述目标跟踪模型包括孪生跟踪模块、轨迹预测模块和模板更新模块，其中，

所述孪生跟踪模块用于输出目标模板在当前原始视频帧的搜索区域中预测的目标跟踪边界框，输入为当前原始视频帧中的搜索区域，以及目标模板，目标模板的初始值从第一帧中获取；