[发明专利]融合目标显著性和在线学习干扰因子的航拍目标跟踪方法

权利要求书

1.一种融合目标显著性和在线学习干扰因子的航拍目标跟踪方法，其特征是按如下步骤进行：

步骤1、对全卷积孪生网络进行通用特征的预训练；

步骤1.1、获取带有标签的航拍数据集，所述航拍数据集包含多个视频序列，每个视频序列包含多帧，选取一个视频序列并作为当前视频序列中抽取任意第i帧图像与相邻T帧图像之内的任意一帧图像组成一个样本对，从而将所述当前视频序列中随机抽取的图像组成若干个样本对，进而构成训练数据集；

步骤1.2、将所述训练数据集的每个样本对中的一帧图像作为模板图像，另一帧图像作为搜索图像；

步骤1.3、采用高斯分布随机初始化全卷积孪生网络的参数后，将每个样本对输入初始化后的全卷积孪生网络中进行训练，得到训练好的最佳跟踪模型；

步骤1.3.1、第i个样本对经过全卷积孪生网络后生成响应图υ[u_i]，u_i表示响应图υ[u_i]中的第i个位置，响应图υ[u_i]中第i个位置对应的真实标签记为y[u_i]；

步骤1.3.2、利用逻辑损失函数计算全卷积孪生网络中每个样本对的损失l(y,υ)，其中，υ是一个样本对的打分值，y是一个样本对的真实标签，且y∈{+1,-1}；

步骤1.3.3、构建全卷积孪生网络中如式(1)所示的训练数据集的目标函数，并利用梯度下降算法对所述目标函数进行求解，从而得到最佳跟踪模型；

式(1)中，x表示所述训练数据集中所有样本对的搜索图像集；z表示所述训练数据集中所有样本对的模板图像集，θ是模型参数，V是所有样本对的打分值；

步骤2、对目标智能感知特征的预训练；

步骤2.1、从带标签的航拍数据集中选取每个视频序列的第一帧图像组成训练样本集；

步骤2.2、将所述训练样本集中的所有样本以其标签中的目标为中心进行回归处理，得到高斯图，其中一个样本Z的高斯图记为其中，i,j表示当前像素点与所述中心的偏移量坐标，i≥0且i≤H，H表示垂直像素数，j≥0且j≤W，W表示水平像素数，σ为样本标签的高斯函数标准差；

步骤2.3、构建由卷积层和全局平均池化层组成的深度网络；

采用高斯分布随机初始化所述深度网络的参数后，将所述训练样本集中的每个样本分别输入初始化后的深度网络中，并经过所述卷积层和全局平均池化的处理后，得到的输出预测Z_o再经过岭回归损失函数和梯度传播的处理，从而得到训练好的目标智能感知网络；

步骤2.3.1、利用式(2)构建训练样本集的损失函数J：

J＝||Y-W*Z||²+λ||W||² (2)

式(2)中，*表示卷积运算，W为回归参数，λ为正则化参数；

步骤2.3.2、利用式(3)计算损失函数J的梯度

步骤2.3.3、利用式(4)计算所述深度网络中卷积层的第l个特征通道的重要性M_l并作为智能感知特征的最佳通道参数：

式(4)中，F_ap表示全局平均池化函数，F_l为第l个特征通道的输出特征；

步骤3、将所述当前视频序列中获取的第1帧图像作为模板帧z₁，除所述模板帧z₁之外的所有图像均作为搜索帧，定义t为当前待搜索帧，并初始化t＝2；

步骤4、开始进行第t帧图像的跟踪；

步骤4.1、根据模板帧z₁的标签所表示的目标位置和目标框，以模板帧z₁的目标框为中心进行裁剪作为目标模板x₁；

步骤4.2、当前待搜索帧为第2帧时，将当前待搜索帧的前一帧即为模板帧z₁的标签表示的目标框为中心进行裁剪，得到当前待搜索帧的前一帧的待搜索区域x_t-1；

当前待搜索帧大于第2帧时，以当前待搜索帧的跟踪结果作为预测目标框；将当前待搜索帧的前一帧以预测目标框为中心进行裁剪，得到当前待搜索帧的前一帧的待搜索区域x_t-1；

步骤4.3、当前待搜索帧为第2帧时，将当前待搜索帧以模板帧z₁的标签表示的目标框为中心进行裁剪，得到第t帧图像的待搜索区域x_t；

当前待搜索帧大于第2帧时，是将当前待搜索帧以当前待搜索帧的前一帧的预测目标框为中心进行裁剪，得到第t帧图像的待搜索区域x_t；

步骤4.4、将第1帧图像的目标模板x₁，第t帧图像的待搜索区域x_t和第t-1帧图像的待搜索区域x_t-1分别经过所述最佳跟踪模型进行特征提取，得到所述目标模板的特征O₁，当前待搜索区域特征O_t和第t-1帧图像的待搜索区域特征O_t-1；

步骤4.5、将所述当前待搜索区域特征O_t经过如式(5)所示的目标智能感知特征网络的特征提取，得到目标智能感知特征O′_t：

O′_t＝f(O_t；M_l) (5)

式(5)中，f表示生成目标智能感知特征的函数；

步骤4.6、动态学习干扰因子S_t-1分支在线学习，诣在引导在线学习第一帧的目标与当前帧的前一帧目标的相似性；

步骤4.6.1、使用如式(6)所示的线性回归计算第1帧图像到第t-1帧图像在时域所学习到的目标干扰因子S_t-1：

式(6)中，λ_s为正则化因子；S表示待优化的参数；

步骤4.6.2、利用式(7)计算第1帧图像到第t-1帧图像在频域速所学习到的目标干扰因子S′_t-1：

式(7)中，是离散傅里叶变换DFT，是DFT的逆变换，上标*表示复共轭；⊙表示点积；

步骤4.7、利用式(8)计算目标跟踪响应结果res：

res＝corr(S_t-1*O₁,O′_t) (8)

式(8)中，corr为相似度度量函数；

步骤5、从t＝2,3,......,N开始，按照步骤4.3来重复进行第t+1帧图像中目标的跟踪，N表示当前视频序列的总帧数。