[发明专利]一种基于深度特征融合与自适应相关滤波的视频目标实时跟踪方法及系统

说明书

本发明公开了一种基于深度特征融合与自适应相关滤波的视频目标实时跟踪方法及系统，包括特征提取模块、特征融合模块、相关滤波模块。特征提取模块使用轻量化网络模型提取多层深度特征，保证了目标跟踪任务的实时性。特征融合模块针对独立提取的多层特征对目标的表征不够完整，提出典型相关分析的多层深度特征融合策略。提高了对目标的表达能力、对目标与背景的区分能力，降低了特征冗余性，减少了后续相关滤波器的计算量。相关滤波模块针对目标跟踪任务中存在的目标形变、目标被遮挡、目标移出视野、目标旋转等挑战带来的跟踪器漂移问题，提出了基于响应值离散度分析的相关滤波器更新策略，来自适应地进行滤波器模板更新，缓解了上述具体问题。

技术领域

本发明涉及目标跟踪技术领域，具体涉及一种基于深度特征融合与自适应相关滤波的视频目标实时跟踪方法及系统。

背景技术

视频目标跟踪任务通过在首帧初始化目标位置，之后使用跟踪算法逐帧对视频帧进行分析处理，预测目标的位置。近年来，基于深度学习与基于相关滤波的方法在视频目标跟踪领域中引起了广泛的关注，促使了目标跟踪性能的提高。

CF2^[1]从较深的VGG-16中独立提取多层深度特征，送入后续相关滤波器进行预测计算，开创了深度学习与相关滤波结合的先河。但是，由于使用了更复杂的特征提取模型，因此速度也随之降低。对于具有实时跟踪需求的任务，需要在性能和速度之间进行权衡。

从深度神经网络模型中提取特征是耗时最长的步骤，最直接的提速方法为使用轻量化的深度神经网络模型。但是从轻量化模型中提取的多层深度特征对目标的表征能力不足、对背景与目标的区分能力有限、并且特征之间存在着冗余，产生了额外的计算量。同时，目标跟踪任务往往会面临目标形变、目标被遮挡、目标移出视野与目标旋转等具体问题，使用现有相关滤波算法易发生跟踪器漂移甚至跟踪失败。

发明内容

发明目的：一个目的是提供一种基于深度特征融合与自适应相关滤波的视频目标实时跟踪方法，以解决目前深度学习与相关滤波结合的目标跟踪方法存在的上述问题。进一步的目的是提供一种实现上述方法的系统。

技术方案：一种基于深度特征融合与自适应相关滤波的视频目标实时跟踪方法，包括以下步骤：

步骤1、使用轻量化网络模型提取原始的多层深度特征，多层特征由深层至浅层分别具有目标的语义信息和纹理信息；

步骤2、使用基于典型相关分析的多层深度特征融合策略，得到具有高表征能力、低冗余的典型判别特征；

步骤3、使用基于响应值离散度分析的相关滤波器更新策略，对多层的滤波器响应图的离散程度进行计算，以适应目标的外观变化。

在进一步的实施例中，所述步骤1进一步包括：

选取轻量化的VGG-M-2048深度神经网络作为深度特征提取器，从网络中提取特征时，去除最后三层全连接层，仅提取卷积层的特征，用于输入特征融合模块。VGG-M 网络模型在ImageNet大规模图像分类数据集上进行预训练。在跟踪过程中删除参数量大的所有全连接层，仅保留前五组卷积层进行特征提取。删除全连接层的轻量化网络模型能够大大减小深度特征提取时间，提高跟踪速度。

在进一步的实施例中，所述步骤2进一步包括：

提出基于典型相关分析的多层深度特征融合策略：将从网络中独立提取的两层深度特征映射到联合特征空间，投影成为特征向量，之后使用典型相关分析的方法计算两组特征向量的最大相关性，根据相关性生成两组典型变量，之后将其点对点融合相加，再映射回原特征空间，形成一组典型判别特征，最后送入后续相关滤波器进行计算。经过特征融合的典型判别特征具有更强的目标表达能力、更强的目标背景区分能力以及更低的冗余性，在提高运动目标表征能力的同时，还能够减少后续相关滤波器的计算量。

在进一步的实施例中，所述步骤3进一步包括：