[发明专利]一种对象标签引导的自适应视频目标跟踪方法

说明书

本发明提出了一种对象标签引导的自适应视频目标跟踪方法，其步骤为：1）采用一个已经训练好的深度特征提取网络对输入的帧与目标的外观进行表征；2）通过深度特征建立深度特征空间采样来维持跟踪器的效率；3）通过区域建议网络获得当前帧的对象信息，并对冗余对象信息进行过滤与选择；4）将对象信息转化为对象标签引导一个Wang‑langau蒙特卡洛抽样算法来预测目标下一帧的位置；5）利用自适应更新的目标模板选择性的更新目标信息。本本发明利用对象信息为采样提供了引导，减少总体样本数量，保证了跟踪的效率，增强跟踪方法的在全局的探索能力；通过改进的自适应模板更新机制，减少跟踪框架在面对目标不确定运动时的更新误差，提高跟踪精度。

技术领域

本发明涉及目标跟踪的技术领域，特别是指一种对象标签引导的自适应视频目标跟踪方法。

背景技术

视觉对象跟踪是在第一帧指定的视频中，用一个边界框表示位置和大小，对任意移动对象进行定位的过程。这是一个广泛的视觉应用的基本任务，如监视、机器人和智能交通。这些应用主要依赖于对目标位置的可靠估计。然而，当目标位置在两帧之间发生快速变化时，传统跟踪方法往往难以适应。同时对解决伴随位置变化的变形、模糊等具有挑战性的因素仍然是一项艰巨的任务。

目前大多数基于相关滤波及孪生网络的方法一般都是根据先前预测的目标位置是一个搜索半径内搜索潜在的目标位置。目标出现在前一帧的位置附近的假设可能并不总是有效的，特别是对于不确定的移动对象，如快速运动、相机切换和视野外。在这种情况下，目标会随机出现在整个帧中的任何位置，导致跟踪失败。尽管如此，现有的跟踪器避免使用更大的搜索半径的一个重要原因是来自背景的潜在干扰，这可能会降低跟踪精度。与此同时，扩展的搜索半径可能会导致跟踪器更新和速度问题。在基于随机采样的方法中，粒子滤波能够处理目标分布的非高斯性和多模态然，获得好的跟踪效果。然而当目标发生位移时，扩大至全局的采样空间带来的计算效率问题导致粒子滤波在实际应用上受到限制。基于马尔可夫链蒙特卡罗的跟踪方法能够以较为高效的方式在高维状态空间中进行采样，提高了跟踪效率。然而普通的马尔可夫链蒙特卡罗方法在目标分布能量场较强的情况下，往往会陷入局部最优解。为了使算法适应突变运动问题，自适应马尔可夫链蒙特卡罗方法、哈密顿蒙特卡罗方法、Wang-landau蒙特卡罗等被应用于鲁棒跟踪并获得了一定效果。然而，基于随机采样的办法虽然表现出对目标的这种较大位移的适应性，但仍然存在较多问题。这类方法通常基于目标的特征表示来预测目标位置，特征的好坏直接影响跟踪性能。传统方法通常基于手工特征来表征目标外观，通常只能表达目标的一种特性，表征能力较弱。其次，随机产生的样本缺乏先验知识的引导，导致新样本的质量不高，从而影响跟踪效率。

因此，必须设计一种既能覆盖全局适应目标突变运动问题，又能保证算法的运行效率，同时，跟踪方法应拥有良好外观表征能力，保证跟踪精度。

发明内容

针对传统基于随机采样的视频目标跟踪方法外观表征能力低、适应目标具有较大位移跟踪场景的能力不足的问题，本发明提出了一种对象标签引导的自适应视频目标跟踪方法，以提高目标跟踪的鲁棒性。

本发明的技术方案是这样实现的：

一种对象标签引导的自适应视频目标跟踪方法，其步骤如下：

步骤一：利用人工标注的方式标注出视频序列中的第一帧图像的目标图像块，并利用VGG16深度网络提取目标图像块的深度特征，将目标图像块的深度特征作为目标模板；

步骤二：读取视频序列的下一帧图像作为当前帧图像，利用VGG16深度网络提取当前帧图像的深度特征，将当前帧图像的深度特征作为当前帧图像在特征空间的特征图；

步骤三：利用RPN网络将当前帧图像转化到图像空间上，得到图像空间下的全局对象信息集，并对全局对象信息集中的对象进行筛选得到当前帧图像在图像空间的对象信息集；

步骤四：根据当前帧图像在图像空间的对象信息集利用Wang-Landau蒙特卡洛对特征空间的特征图进行采样，得到样本集；