[发明专利]基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法

权利要求书

1.一种基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法，其特征在于步骤如下：

步骤1：读取视频中第一帧图像数据以及目标所在的初始位置信息[x,y,w,h]，其中x,y表示目标中心的横坐标和纵坐标，w,h表示目标的宽和高；将(x,y)对应的坐标点记为P，以P为中心，大小为w×h的目标初始区域记为R_init，再将目标的尺度记为scale，初始化为1；

步骤2：以P为中心，确定一个包含目标及背景信息的区域R_bkg，R_bkg的大小为M×N，M＝2w,N＝2h；采用VGGNet-19作为CNN模型，在第5层卷积层即conv5-4层对R_bkg提取卷积特征图z_{target_init}；然后根据z_{target_init}构建跟踪模块的目标模型t∈{1,2,...,T}，T为CNN模型通道数，计算方法如下：

其中：大写的变量为相应的小写变量在频域上的表示，高斯滤波模板m,n为高斯函数自变量，m∈{1,2,...,M}，n∈{1,2,...,N}，σ_target为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，λ₁为调整参数；

步骤3：以P为中心，提取S个不同尺度的图像子块，S设定为33；每个子块的大小为w×h×s，变量s为图像子块的尺度因子，s∈[0.7,1.4]；然后分别提取每个图像子块的HOG特征，合并后成为一个S维的HOG特征向量，并命名为尺度特征向量，记为z_{scale_init}；再根据z_{scale_init}构建跟踪模块的尺度模型W_scale，计算方法如下：

其中，s'为高斯函数自变量，s'∈{1,2,...,S}，σ_scale为高斯核的带宽，λ₂为调整参数；

步骤4：对目标初始区域R_init提取灰度特征，得到灰度特征表示的二维矩阵，命名为目标外观表示矩阵，记为A_k，下标k表示当前帧数，初始时k＝1；然后将检测模块的滤波模型D初始化为A₁，即D＝A₁，再初始化历史目标表示矩阵集合A_his；A_his存储当前及之前每一帧的目标外观表示矩阵，即A_his＝{A₁,A₂,...,A_k}，初始时A_his＝{A₁}；

步骤5：读取下一帧图像，仍然以P为中心，提取大小为R_bkg×scale的经过尺度缩放后的目标搜索区域；然后通过步骤2中的CNN网络提取目标搜索区域的卷积特征，并以双边插值的方式采样到R_bkg的大小得到当前帧的卷积特征图z_{target_cur}，再利用目标模型计算目标置信图f_target，计算方法如下：

其中，为傅里叶逆变换；最后更新P的坐标，将(x,y)修正为f_target中的最大响应值所对应的坐标：

步骤6：以P为中心，提取S个不同尺度的图像子块，然后分别提取每个图像子块的HOG特征，合并后得到当前帧的尺度特征向量z_{scale_cur}，同步骤3中z_{scale_init}的计算方法；再利用尺度模型W_scale计算尺度置信图：

最后更新目标的尺度scale，计算方法如下：

得到跟踪模块在当前第k帧的输出：以坐标为(x,y)的P为中心，大小为R_init×scale的图像子块TPatch_k；另外，将已经计算完成的f_target中的最大响应值简记为TPeak_k，即TPeak_k＝f_target(x,y)；

步骤7：检测模块以全局搜索的方式将滤波模型D与当前帧的整幅图像进行卷积，计算滤波模型D与当前帧各个位置的相似程度；取响应度最高的前j个值，并分别以j个值对应的位置点为中心，提取大小为R_init×scale的j个图像子块；将j个图像子块作为元素，生成一个图像子块集合DPatches_k，即检测模块在第k帧的输出；

步骤8：分别计算检测模块输出的集合DPatches_k中各图像子块与跟踪模块输出的TPatch_k之间的像素重叠率，得到j个值，将其中最高的值记为如果小于阈值判定为目标被完全遮挡，需要抑制跟踪模块在模型更新时的学习率β，并转步骤9；否则按初始学习率β_init进行更新，并转步骤10；

所述β的计算公式如下：

步骤9：根据DPatches_k中各图像子块的中心，分别提取大小为R_bkg×scale的j个目标搜索区域，按照步骤5中的方法对每一个目标搜索区域提取卷积特征图并计算目标置信图，得到j个目标搜索区域上的最大响应值；在j个响应值中的最大的值记为DPeak_k；如果DPeak_k大于TPeak_k，则再次更新P的坐标，将(x,y)修正为DPeak_k所对应的坐标；并重新计算目标尺度特征向量和目标尺度scale，采用步骤6中的计算方式；

步骤10：目标在当前帧最优的位置中心确定为P，最优尺度确定为scale；在图像中标示出新的目标区域R_new，以P为中心，宽和高分别为w×scale、h×scale的矩形框；另外，将已经计算完成、并且能够得到最优目标位置中心P的卷积特征图简记为z_target；同样，将能够得到最优目标尺度scale的尺度特征向量简记为z_scale；

步骤11：利用z_target、z_scale，以及上一帧建立的跟踪模块中的目标模型和尺度模型W_scale，分别以加权求和的方式进行模型更新，计算方法如下：

W_scale＝W_{scale_new}；

步骤12：对新的目标区域R_new提取灰度特征后得到当前帧的目标外观表示矩阵A_k，将A_k加入到历史目标表示矩阵集合A_his；如果集合A_his中元素个数大于c，则从A_his中随机选择c个元素生成一个三维矩阵C_k，C_k(:,i)对应的是A_his中任意一个元素、即二维矩阵A_k；否则用A_his中所有元素生成矩阵C_k；然后对C_k进行平均化得到二维矩阵，将这个二维矩阵作为检测模块新的滤波模型D，计算方法如下：

步骤13：若处理完视频中所有的图像帧则算法结束，否则转步骤5继续执行。