[发明专利]基于幻觉对抗网络的鲁棒目标跟踪方法

权利要求书

1.基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于包括以下步骤：

1)在有标注的目标跟踪数据集中收集大量形变样本对作为训练样本集合；

2)对步骤1)中所得到的训练样本集合中的所有样本进行特征提取，得到训练样本特征集合；

3)使用步骤2)中得到的训练样本特征集合、对抗损失和所提出的形变重构损失来离线训练所提出的幻觉对抗网络；

所述训练的过程为：首先从训练样本特征集合中选取两组训练样本特征对，表示为和使用幻觉对抗网络学习和间的形变，并将此形变施加到用以生成关于目标b新的形变样本，使用对抗损失保证生成的样本分布与目标b分布相近：

其中，E_n和D_e分别表示所提出的对抗幻想器中的编码器和解码器部分；为了使得生成样本有效编码形变z^a，提出形变重构损失对生成样本进行约束：

其中，最终，用于离线训练所提出的幻觉对抗网络的总损失函数为：

其中，λ为用于平衡两项损失的超参数；

所述幻觉对抗网络的离线训练包括以下子步骤：

3.1(公式三)中的参数λ设置为0.5；

3.2在训练中，使用的优化器为Adam，迭代次数为5×10⁵，学习率为2×10^-4；

3.3所提出的幻觉对抗网络的编码器和解码器结构均为隐层节点数为2048的三层感知机，编码器输入层节点为9216，编码器输出层节点为64；解码器输入层节点为4672；判别网络同样为隐层节点数为2048的三层感知机，其输入节点数为9216，输出节点数为1；

4)给定测试视频中的第一帧标注图像，采集目标样本，并在目标样本周围采用高斯和随机采样方式进行正负样本的采样；

5)使用所提出的选择性形变迁移方法对跟踪目标进行待迁移样本对的选择；

所述待迁移样本对的选择的过程为：定义N_s表示用于收集形变样本对的数据集中视频片断的数目，s_i为视频片断的身份标识，其中，表示视频片断s_i中对应样本的个数；对于视频片断s_i的特征表达ψ(s_i)，通过如下方式计算得到：

其中，为深度特征提取器，对于目标特征计算其余每个视频片断表征ψ(s_i)间的欧式距离，选取距离最近的T个视频片断；在选择的T个视频片断中，采用与步骤1)中相同的方式收集大量的形变样本对，构成集合D_S，用于后续目标形变迁移；

所述选择性形变迁移方法包括以下子步骤：

5.1在计算视频片断的特征表达时，所使用的深度特征提取器为去掉全连接层的ResNet34模型；

5.2在选择相似视频片断时，参数T设置为2×10³；

6)基于选择得到的待迁移样本对，使用离线训练好的幻觉对抗网络生成形变的正样本；

7)使用空间采样的正负样本和生成的正样本共同对分类器进行训练，其产生的分类误差损失用于同时更新分类器和幻觉对抗网络；

8)给定新的测试帧，使用训练好的分类器置信度最高的区域作为目标位置，完成当前帧的跟踪。

2.如权利要求1所述基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于在步骤1)中，所述在有标注的目标跟踪数据集中收集大量形变样本对作为训练样本集合具体过程为：标记视频序列收集大量目标样本对，一对样本包含同一个目标；在视频序列a中，首先在第t帧选取目标样本然后在后20帧内随机选取一帧中的目标样本作为用于构成一组形变样本对选取大量的形变样本对构成训练样本集合；所述数据集为Fei-Fei Li在2015年提出的ILSVRC-2015视频目标检测数据集。

3.如权利要求1所述基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于在步骤2)中，所述特征提取的步骤为：首先将目标样本使用双线形插值方法改变大小至107×107×3，然后使用神经网络特征提取器φ(·)对所有插值后的目标样本进行特征提取；所述特征提取器φ(·)的结构为在Imagenet数据集上预训练的VGG-M模型的前三层卷积层。