[发明专利]一种漂移检测的残差深度特征目标跟踪方法

权利要求书

1.一种漂移检测的残差深度特征目标跟踪方法，其特征在于，包括以下步骤：

步骤一、训练残差深度特征网络；

残差深度特征网络的结构包括4个卷积层、2个全连接层和1个残差结构；4个卷积层分别是conv1、conv2、conv3和conv4，2个全连接层分别是fc5和fc6，其中，conv1、conv2、conv3和conv4分别为第一卷积层、第二卷积层、第三卷积层和第四卷积层，fc5为第一全连接层，fc6为第二全连接层、也是网络输出层；

conv1、conv2、conv3、conv4、fc5和fc6依次顺序连接，残差结构用于将第二卷积层输出特征与第四卷积层输出特征进行线性相加，再通过激活函数输出，实现不同层的输出特征融合，对目标和背景进行分类；

步骤二、从当前帧裁剪得到的样本集，该样本集输入步骤一训练得到的残差深度特征网络，输出残差深度特征网络conv4的值，conv4输出值与相对应的回归标签构成训练样本集，根据训练样本集训练目标模板并且定位当前帧目标；

步骤二具体如下：

设训练样本集为(X,Y)，从当前帧裁剪得到的样本集，该样本集输入到步骤一训练完成的残差深度特征网络，残差深度特征网络中的conv4层输出的值为样本集特征X，Y表示X对应的回归标签；训练样本集中第i个样本表示为(x_i,y_i)，其中，x_i表示训练样本集中第i个特征，y_i表示x_i对应的回归标签，i＝1,2,…N，N为训练样本总数；

训练样本集线性可分时，线性回归函数表示为f(x_i)＝w^Tx_i，上标T表示转置，通过求解公式(1)，即最小化损失函数，确定w；

其中，f(x_i)表示x_i对应的预测回归标签，λ代表正则化系数，w表示权重系数，公式(1)写成矩阵形式为

其中X＝[x₁,x₂,...,x_N]^T，X中每一行代表一个训练样本，Y是列向量，Y中列向量的每个元素代表X中行代表的训练样本对应的回归标签，求解公式(2)得目标模板

w＝(X^HX+λI)^-1X^HY (3)

其中上标H表示复共轭转置，I表示单位矩阵；

涉及到求逆运算，引入循环矩阵，训练样本集中的所有样本是由定义所跟踪的目标在图片中位置样本循环移位所得，定义跟踪的目标在图片中的位置的样本记为目标样本；所有的循环矩阵都能够在傅氏空间中使用离散傅里叶矩阵进行对角化，则

其中，X_p是目标样本循环移位得到的训练样本集，每一行代表一个训练样本，x_p代表目标样本，初始帧的目标样本是根据给定的需要定位的目标位置得到，随后的目标样本是根据当前帧的前一帧预测的位置得出置，是x_p的傅里叶变换，上标∧均表示傅里叶变换，F是傅里叶变换矩阵；初始帧确定的训练样本集对应的回归标签记为y，带入公式(3)解得目标模板为

其中上标*表示共轭，⊙表示点乘；

若遇到训练样本集线性不可分，引入核函数φ(X_p)，训练样本集X_p映射到核空间线性可分；令K表示核空间的核矩阵，

其中表示X_p在变换空间上的自相关，若是循环矩阵，则目标模板

检测阶段得到测试样本集Z_P的响应矩阵，Z_P是在检测阶段，根据上一帧预测当前帧目标位置确定的目标样本z_p循环移位得到的测试样本集，表示X_P和Z_P在变换空间上的互相关；

响应矩阵f_p计算如公式(9)所示，

其中，φ(Z_p)表示测试样本集Z_p映射到核空间，则预测目标位置是f_P中元素最大值位置，即

其中，p(r,c)表示预测出的目标位置；

步骤三、检测模型漂移策略；

通过确定响应矩阵的峰值强度PSR连续下降现象来确定目标模板出现问题的位置；具体如下：

响应矩阵f_p是由当前帧测试样本集和初始帧训练样本集，根据计算得出，其中，Z_P为测试样本集，X_P为训练样本集，K表示核空间的核矩阵，上标∧均表示傅里叶变换；表示训练样本集X_p和测试样本集Z_P在傅里叶变换域的互相关计算，其中表示X_P进行傅里叶变换，表示Z_P进行傅里叶变换；

响应矩阵的峰值强度计算如下式所示，

其中PSR为峰值强度，max_f_p表示响应矩阵f_p中元素最大值，μ表示f_p中旁瓣的平均值，σ表示f_p中旁瓣的标准差；

定义一个响应强度下降计数器counter，初始帧数值为0，设置计数器阈值为η，通过计数器的数值判断PSR连续下降的现象是否出现；设第t帧的PSR为a，第(t+1)帧的PSR为b，若b-a＜0，则counter数值加1，若b-a＞＝0，则counter数值变为0，每一帧计算响应矩阵，计算counter数值，若counter＞η，判断当前帧跟踪出现问题，上一帧更新的目标模板不适合定位当前帧目标，出现模型漂移；

步骤四、更新目标模型；

目标模型包含目标模板和外观模型，通过更新目标模板和外观模型实现对目标的精确跟踪；

若counter＜＝η，判断当前帧定位准确，计算目标位置其中，r,c分别表示目标位置坐标的横坐标和纵坐标，按照以下公式对第(t+n)帧进行目标模板和外观模型的更新，其中n≥1；

model_w_t+n＝(1-γ)model_w_t+n-1+γw_t+n

model_x_t+n＝(1-γ)model_x_t+n-1+γx_t+n

其中model_w_t+n-1表示第(t+n-1)帧的目标模板，w_t+n表示第(t+n)帧的目标模板，model_w_t+n表示更新后的目标模板；model_x_t+n-1表示第(t+n-1)帧的外观模型，x_t+n表示第(t+n)帧的外观模型，model_x_t+n表示更新后的外观模型，γ表示比例系数，是决定前一帧模板信息与当前帧模板信息的融合权重；

若counter＞η，判断当前帧定位不准确，计算目标位置按照以下公式进行目标模板和外观模型的更新；

model_w_t+n＝model_w_t+n-η

model_x_t+n＝model_x_t+n-η

目标模板和外观模型更新后，在下一帧图像，实现目标定位，再进行目标模板和外观模型更新，直至所有图像完成目标跟踪。