[发明专利]融合多层深度特征的判别式相关滤波跟踪方法及系统

说明书

本发明公开了一种融合多层深度特征的判别式相关滤波跟踪方法及系统，该方法包括获取第一帧视频图像，以前一帧目标状态为基础，提取手工特征和多层深度特征；对深度特征进行空间池化和通道压缩，与手工特征进行级联输入LADCF模型训练判别式相关滤波器；获取第二帧视频图像，以前一帧目标状态为基础，提取多尺度手工特征和单尺度深度特征，利用训练好的LADCF模型确定手工特征和深度特征的目标响应图；将深度特征响应图分别与不同尺度的手工特征响应图加权相加，得到目标状态响应图，再进行目标位置和边界框估计；重复以上过程直至完成对目标的跟踪。本方法可有效降低深度特征提取的时间，提高算法的运行速度。

技术领域

本发明涉及视频目标追踪技术领域，具体涉及一种融合多层深度特征的判别式相关滤波跟踪方法及系统。

背景技术

视觉目标跟踪指在视频序列第一帧，给定目标中位置和大小，并在后续图像序列中估计目标的位置和大小。视觉目标跟踪在智能交通监控、无人机导航、人机交互、导弹制导等许多领域具有广泛的应用。

根据目标表观模型的不同，视觉目标跟踪算法主要分为生成式目标跟踪和判别式目标跟踪等两大类，判别式目标跟踪在搜索区域内进行目标分类判断，同时考虑了目标自身以及背景信息。其中基于判别式相关滤波器(Discriminative Correlation Filter，DCF)的目标跟踪算法，整体框架简单，可融合多种特征进行目标表示，运行速度快、鲁棒性高，获得了广泛的应用。

现有LADCF算法采用了CNN深度特征，CNN特征通过将待跟踪图像输入预训练CNN网络获得，如图1所示，LADCF算法将图像灰度、HoG、CN等手工特征以及深度特征在深度方向进行级联拼接，具体的如图所示，全部特征包括两个通道，其中通道1为手工特征、通道2为深度特征。以432×576×3的图像为例，LADCF算法的手工特征为[48,48,42,3]的张量，以预训练VGG网络为例，其第10层所提取的深度特征为[12,12,512,3]的张量，张量的通道分别为[width,height,channels,scales]。

所有级联的特征用于分类器的训练，构造目标的表观模型。因此LADCF所求解的分类器也是多通道分类器，其大小与级联特征大小一致，即LADCF算法的每个通道分别训练不同的分类器，假定表示分类器模型参数的第i个通道的第j个分量，在进行目标预测时，对于每个通道直接将相应的特征层与对应的模型参数在频域相乘，然后在深度方向进行求和。对于不同大小的特征图，将不同的预测结果变换至同一分辨率。

但仅利用了其中一个卷积层的输出，经过多层网络传输后，所提取的深度特征高度抽象，无法反映目标纹理边缘等浅层特征；且LADCF判别式相关滤波算法将深度特征与相关滤波结合，算法的性能得到较大提升，但由于进行手工特征和深度特征提取，导致算法的复杂度较高。深度特征通过将候选样本输入预训练CNN网络获得，由于深度特征的维度通常很高，因此通常仅采中间一层或最后卷积层的输出作为候选目标的深度特征表示。根据数据流传输方向，深度特征可分为浅层特征、中层特征和深层特征。在CNN网络由浅层向深层传播时，特征分辨率逐渐降低，浅层特征分辨率高，包含更多细节信息，而深层特征分辨率较低，图像细节信息较少，图像语义层级的信息更多。

为解决上述问题，提升DCF算法的性能，充分利用多层神经网络特征不同层的表达能力，现有技术将多层CNN特征引入LADCF算法框架，多层深度特征与单层特征相比，特征表达能力更强，但是特征维度更高，特别是在多尺度搜索时，会导致算法运行速度很慢。

有鉴于此，亟需提供一种新的多特征融合框架，以提高不同特征融合时的计算效率。

发明内容

为了解决上述技术问题，本发明所采用的技术方案是提供一种融合多层深度特征的判别式相关滤波跟踪方法，包括以下步骤：

获取视频序列集；

获取第一帧视频图像，给定目标在第一帧图像中的初始状态，包括目标中心位置坐标和大小；