[发明专利]一种融合多层卷积特征的相关滤波目标跟踪方法

说明书

本发明涉及一种融合多层卷积特征的相关滤波目标跟踪方法，属于目标跟踪领域。为了提高跟踪的成功率，针对相关滤波跟踪中传统特征对目标表达不足的问题，本发明提出一种多层卷积特征的融合策略。从目标及附近背景通过预训练好的VGG网络提取多层卷积特征并降低特征维度，在对应层训练相应滤波器得到各层响应，将各层响应归一化后通过固定权重融合。同时提取目标的HOG特征对目标的尺度进行预测。本发明在复杂环境下的精度高于其他算法，提高了相关滤波跟踪的实用性。

技术领域

本发明涉及一种融合多层卷积特征的相关滤波目标跟踪方法，属于目标跟踪领域。

背景技术

目标跟踪是计算机视觉的重要研究课题，广泛应用于人机交互，行为识别等领域。近年来相关滤波发展迅速，自误差最小平方和滤波(MOSSE)算法提出以来，相关滤波算法层出不穷。其中经典算法如MOSSE、DSST、KCF等有着速度快，效果好的特点。但由于诸如形变、光照、尺度变化、遮挡、快速运动等情形存在，相关滤波跟踪算法面临挑战。在相关滤波算法中，特征是决定跟踪效果的重要因素之一。传统手工特征如梯度方向直方图特征(Histogram of Oriented Gradient，HOG)、颜色特征(Color Name，CN)，这些特征难以捕捉目标的语义信息，对形变、旋转等复杂外观变化没有良好的鲁棒性，容易造成模型漂移导致跟踪失败。

发明内容

本发明旨在传统相关滤波跟踪框架内使用多层卷积特征以克服传统手工特征对目标表达能力不足造成模型漂移导致跟踪失败的缺点。本发明通过预训练好的VGG网络提取多层卷积特征，针对卷积特征分辨率不一、冗余繁多的缺点，本方法筛选出用于跟踪的特征，并在每个卷积层上对目标位置进行估计。根据卷积神经网络语义从多到少、分辨率由粗到细的特点将每个卷积层的结果进行线性加权融合。同时提取目标多个尺度的HOG特征构建滤波器，选择目标的最佳尺度。

为解决上述技术问题，本发明采用的技术方案是：一种融合多层卷积特征的相关滤波目标跟踪方法，包括如下步骤：

步骤(1)、提取特征：在下一帧按当前帧的目标位置和尺度提取目标样本，通过预训练好的VGG网络提取目标样本的多层卷积特征并降维；

步骤(2)、计算并融合多层响应：将提取到的特征通过训练好的滤波器得到每层的目标响应，将每层的响应归一化后，以固定权重融合得到最终响应；

步骤(3)、位置估计：通过步骤(2)融合后的最终响应中的峰值位置得到下一帧目标的位置估计；

步骤(4)、尺度估计：在下一帧的估计位置提取多个尺度下目标样本并提取 HOG特征，并通过尺度滤波器得到尺度响应，通过尺度响应的峰值位置得到下一帧目标的尺度估计；

步骤(5)、滤波器更新：在下一帧以估计后的目标位置和尺度提取目标的位置和尺度样本，通过VGG网络提取多层卷积特征以及计算目标多尺度HOG特征，通过线性插值方式更新当前滤波器。

具体地，所述步骤(1)的具体步骤如下：

根据目标外形提取周围包含背景的样本，将提取到的目标样本双线性插值到224x224大小输入VGG网络，并提取第三、四、五池化层的激活值作为目标的多层卷积特征，将提取到的卷积特统一双线性征插值到目标样本大小，并统计每个通道的方差大小，每层按方差大小取前30通道作为降维后的卷积特征，方差统计方式为：

其中σ²表示该通道卷积特征的方差，F_m,n表示该通道卷积特征中的特征值， F_ave表示该通道特征的平均值，m、n表示样本的长、宽。

具体地，所述步骤(2)的具体步骤如下：

在每个卷积层构造一个最佳的位置相关滤波器，该方法通过最小化(2)式的损失函数ε进行训练：