[发明专利]一种基于持续学习的长时视觉目标跟踪方法

说明书

本发明涉及一种基于持续学习的长时视觉目标跟踪方法，该方法包括网络模型设计、模型初始化、在线跟踪和模型更新。针对长时视觉目标跟踪设计了深度神经网络结构，经过模型初始化获得初始化网络模型，然后利用初始化网络模型进行在线跟踪，在跟踪过程中利用持续学习的方法进行长时或短时模型更新，适应目标在跟踪过程中的各种变化。本发明把传统视觉目标跟踪的模型在线更新过程转换为持续学习的过程，从视频的所有历史数据整体建立目标的完整外观描述，有效提升了长时视觉跟踪的鲁棒性。本发明所述的方法可为智能视频监控、人机交互、视觉导航等应用需求提供长时视觉目标跟踪的有效解决方案。

技术领域

本发明属于计算机视觉和图像视频处理领域，特别涉及一种基于持续学习的长时视觉目标跟踪方法。

背景技术

视觉目标跟踪是计算机视觉、图像视频处理中的一个基础问题，在监控视频自动分析、人机交互、视觉导航等领域有着广泛的应用。按照视频序列帧的长度，跟踪方法大致可分为两大类：短时目标跟踪和长时目标跟踪。一般当被跟踪的视频序列帧长度大于1000帧时，我们称之为长时目标跟踪。目前短时跟踪算法在相对较短的视频数据上已经取得了较好的性能，但是将其直接应用到现实长时视频序列的处理上，跟踪的精度和鲁棒性都还远达不到实际场景的指标需求。

在长时跟踪任务中，除了要面对短时场景中如目标尺度变化、光照变化、目标变形等常见挑战外，还需要解决频繁的“消失后再现”目标的稳健锁定难题。因此，与传统的短时跟踪相比，长时跟踪具有更大的挑战性，更符合各种应用场景的实际需求。然而，目前面向这类长时数据的跟踪技术较为欠缺，已有方法的性能也十分有限。一种现有的长时跟踪思路是将传统跟踪和传统目标检测方法相结合，来解决跟踪中目标发生形变、部分遮挡等问题。同时，通过在线学习机制不断更新跟踪模块的“显著特征点”和检测模块的目标模型及相关参数，从而使得跟踪效果更加鲁棒、可靠。此外，也有方法利用关键点匹配跟踪和鲁棒估计技术，能够把长时记忆给集成起来，并且可以为输出控制提供额外的信息。上述跟踪方法可以在整帧图像中搜索目标，但由于仅采用了手工设计的简单特征，其性能并不理想。最近，一些基于相关滤波和深度学习的跟踪方法被提出，虽然有用于长时跟踪的重新检测方案，但都局限于仅在图像局部范围内进行搜索，因此在目标出视野后无法再次捕获它，并不能胜任长时跟踪任务需求。

从技术发展的现状看，基于深度卷积神经网络图像分类的视觉目标跟踪方法具有将目标与杂乱的背景有效区分的巨大潜力，基于此类框架的跟踪方法有着广阔的发展前景。但是，仅采用离线训练的跟踪模型通常难以适应视频的在线变化，而简单地用新数据频繁更新模型又会加速跟踪漂移，导致其在处理长时跟踪问题时很容易失败。本发明则通过持续学习方法平衡模型的历史记忆与在线更新，提出了一种基于持续学习的长时视觉目标跟踪方法。

发明内容

本发明利用持续学习理论，将视觉目标跟踪方法的模型在线更新转换为一个持续学习过程，在整个视频序列中学习时序图像的有效抽象与表征，建立目标的完整画像。最终适应跟踪过程中目标变形、背景干扰、遮挡和光照变化等情况，达到提升现有跟踪方法在线更新时的适应性与可靠性，降低模型对目标变形、遮挡等噪声的敏感度，达到长时稳健跟踪目标的目的。

本发明是采用以下技术手段实现的：一种基于持续学习的长时视觉目标跟踪方法，主要包括网络模型设计、模型初始化、在线跟踪和模型更新四部分。

网络模型设计：首先根据附图1所示的整体流程设计了深度神经网络结构；然后将该网络各阶段特征图调整成自适应尺寸。

模型初始化：主要包括3个步骤：初始帧分割图像获取；模型初始化训练样本库生成；模型初始化训练及模型获取。其中，模型初始化训练及模型获取阶段包括损失函数、梯度下降法的选取。

在线跟踪：主要包括3个步骤：生成候选样本；获取最佳候选样本；使用目标框回归定位目标区域。