[发明专利]基于对抗迁移网络的视觉跟踪方法及系统

权利要求书

1.一种基于对抗迁移网络的视觉跟踪方法，其特征在于，包括以下步骤：

对训练集进行特征提取以得到特征矩阵，并根据所述训练集训练通用的样本特征提取器和目标背景样本分类器；

在得到线上跟踪任务提供的第一帧图片后，从所述训练集中查找与所述线上跟踪任务相似度最大的一个视频；

根据所述第一帧图片和线下视频中的正负样本对对抗迁移网络进行对抗迁移训练；

根据与所述线上跟踪任务相似度最大的一个视频的特征矩阵以及所述通用的样本特征提取器和目标背景样本分类器，对每一帧图像进行跟踪；

其中，所述根据所述第一帧图片和线下视频中的正负样本对对抗迁移网络进行对抗迁移训练，包括：

学习目标函数，所述目标函数为：

其中，X_s和X_t分别为源域和目标域中的样本，D为域判别器，M为目标域特征提取网络，G为源域特征提取网络；

具体训练迭代过程为首先训练判别器，令表示判别网络，参数为θ_d，则θ_d通过优化损失函数L_d得到：

其中，损失函数L_d是二值交叉熵损失，定义为：

其中，分别是源域和目标域中的目标和背景样本，表示目标域第一帧中的样本训练出来的特征提取器，是源域目标特征提取器，

其中，生成器的训练包括，令表示生成网络，参数为θ_s，则θ_s通过优化损失函数L_s得到：

其中，损失函数L_s包含对抗损失L_adv和跟踪分类器损失L_f，其中，

其中，对抗损失L_adv定义为：

跟踪分类器损失L_f定义为：

其中，是相应的样本的输出标签，和则分别是源域和目标域中的分类准确率。

2.根据权利要求1所述的基于对抗迁移网络的视觉跟踪方法，其特征在于，所述特征矩阵包括多个512维深度特征。

3.根据权利要求1所述的基于对抗迁移网络的视觉跟踪方法，其特征在于，从所述训练集中查找与所述线上跟踪任务相似度最大的一个视频，包括：

根据所述训练集中的图像与所述第一帧图片之间的距离得到与所述线上跟踪任务相似度最大的一个视频，其中，所述距离为

其中，为线上跟踪任务第一帧中目标的CNN特征，S_i为视频V_i的k近邻单纯形，V_i表示训练视频集中的第i个视频。

4.根据权利要求1所述的基于对抗迁移网络的视觉跟踪方法，其特征在于，所述根据与所述线上跟踪任务相似度最大的一个视频的特征矩阵以及所述通用的样本特征提取器和目标背景样本分类器，对每一帧图像进行跟踪，包括：

使用判别式跟踪方法对每一帧采集样本并打分，并将得分最高的样本作为跟踪结果，以对每一帧图像进行跟踪，以及使用长短时更新方法对对抗迁移网络进行线上更新。