[发明专利]基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法

摘要

本发明涉及一种基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法，将跟踪过程分成了目标定位和尺度选择两部分，第一部分目标定位，利用卷积神经网络和相关滤波进行目标的位置定位；第二部分尺度选择，利用一个尺度金字塔，通过尺度滤波对目标进行不同尺度的匹配选择。选用卷积神经网络里的多层特征作为目标的表示模型，从而能够鲁棒地描述目标的结构和语义信息；利用相关滤波的特性，不再需要在线训练分类器，从而极大加快了算法的运行速度；在尺度上采用了尺度金字塔的思想，对不同尺度的目标进行相关滤波匹配，选取最优尺度，对于目标的形变、遮挡、尺度变化具有很强的鲁棒性。

主权项

1.一种基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法，其特征在于步骤如下：步骤1：读取第一帧图像数据以及目标块在第一帧图像中的位置信息[x,y,w,h]，其中x,y表示目标中心的横纵坐标，w,h表示目标的宽和高；步骤2：以(x,y)为中心提取搜索区域R，利用卷积神经网络CNN提取搜索区域R的卷积特征图，通过双边插值的方法对特征图进行上采样到搜索区域R得到卷积特征图所述的R的宽和高分别为M,N，所述的大小为M×N×D，D为通道数，l为CNN中的层数；步骤3：采用分层的方式构建目标模型对于每一层的目标模型，其构建方法如下：其中，d∈{1,....,D}；变量上面的一横代表复数的共轭；大写变量名为相应的小写变量名在频域的表示；(m,n)∈{0,1,...,M‑1}×{0,1,...,N‑1}，σ_target为核的宽度；⊙代表元素相乘运算；λ为调整参数；步骤4：以当前帧中目标位置为中心提取不同尺度的目标块，计算每个目标块的HOG特征得到尺度特征Zscale，利用这些不同尺度的HOG特征构建尺度模型Wscale，其构建方法如下：其中，S为尺度个数；变量上面一横代表复数的共轭；大写变量名为相应的小写变量名在频域的表示；s∈{1,2,...,S}，σ_scale为核的宽度；⊙代表元素相乘运算；λ为调整参数；步骤5：读取下一帧图像，以前一帧目标位置为中心，提取大小为R*scale的尺度缩放后的搜索区域，其中，R为上述大小为M×N的区域，scale为尺度因素；利用CNN提取尺度缩放后的搜索区域的卷积特征图，并且通过双边插值的方法对卷积特征图进行上采样到尺度缩放后的搜索区域R的大小得到卷积特征图利用目标模型计算目标置信图对于每一层，其目标置信图计算方法如下：其中，为傅里叶逆变换；步骤6：利用步骤5得到的置信图集逐层递进地定位目标位置(x,y)：其中，γ为每层的权重参数；步骤7：以步骤6得到的目标位置(x,y)为中心提取不同尺度的目标块，计算每个目标块的HOG特征得到尺度特征Z_scale，利用尺度模型W_scale，计算尺度置信图通过如下公式选择最优尺度因素：步骤8：利用步骤7得到的尺度因素scale，再次提取大小为R*scale的尺度缩放后的搜索区域，利用CNN提取卷积特征图，并且通过双边插值的方法对特征图进行上采样到搜索区域R*scale的大小得到卷积特征图以搜索区域R*scale的大小为基准、(x,y)为中心提取不同尺度的目标块，并且计算每个目标块的HOG特征得到尺度特征Z_scale，更新目标模型和尺度模型W_scale：其中，Atarget，Btarget分别为公式1的分子分母；Ascale，Bscale分别为公式2的分子分母；η为学习速率；步骤9：判断是否处理完所有图像的所有帧，若没有，则转到步骤5继续；若处理完，则结束。