[发明专利]一种基于生成对抗的目标跟踪方法

权利要求书

1.一种基于生成对抗的目标跟踪方法，包括如下步骤：

步骤1：搭建基于生成对抗的目标跟踪网络；

步骤2：基于锚点生成掩膜来修改图像；

步骤3：训练基于尺度自适应对抗式训练的目标跟踪网络；

步骤4：实施目标跟踪；

其特征在于，在所述目标跟踪网络的搭建引入掩膜生成网络过程：

特征提取网络用于提取输入图像的深度特征，然后将提取出的图像特征矩阵输入二分类网络；同时，将上一帧计算出的目标坐标作为当前帧目标特征矩阵所在位置，将目标特征矩阵输入掩膜生成网络；

所述掩膜生成网络将输出一个被改变的目标特征矩阵，用被改变的目标特征矩阵替代图像特征矩阵中之前的目标矩阵部分，然后将新的图像特征矩阵输入二分类网络。

所述二分类网络用于计算出目标坐标，该网络首先根据前一帧的跟踪框坐标，在以该框为中心的一定范围内生成大量的样本框，然后根据每个样本框中的图像特征矩阵，计算出每个框的分类概率，将分类概率最高的样本框作为目标的位置并输出。

2.根据权利要求1所述的一种基于生成对抗的目标跟踪方法，其特征在于,所述步骤3中训练基于尺度自适应对抗式训练的目标跟踪网络步骤如下：

S1、构建数据集，将数据集划分为训练集和测试集；

S2、初始化目标跟踪网络:不引入掩膜生成网络，直接将特征提取网络与二分类网络相连组成目标跟踪网络，利用训练集和分类损失函数训练网络，训练至f1次迭代以上且分类损失函数值在p次迭代内最大值与最小值相差小于h。

S3、训练掩膜生成网络：在上一步得到的网络中引入掩膜生成网络，固定目标跟踪网络中的参数，将基于锚点生成掩膜修改的9张图像输入二分类网络进行推理，然后选择输出的概率最低的有掩膜图像作为标签M；利用训练集和生成损失函数训练掩膜生成网络，训练至f2次迭代以上且生成损失函数值在p次迭代内最大值与最小值相差小于h；

S4、训练基于生成对抗的目标跟踪网络：固定掩膜生成网络的参数，并使用掩膜生成网络修改目标特征矩阵；用修改后的图像特征矩阵和对抗损失函数训练基于生成对抗的目标跟踪网络中，训练至f3次迭代以上且对抗损失函数值在p次迭代内最大值与最小值相差小于h；

S5.重复S1步到S4步，训练多个基于生成对抗的目标跟踪网络，用测试集比较网络输出的坐标与真实坐标间的平均欧式距离，选择平均欧式距离最低的网络实施目标跟踪。

3.根据权利要求1所述的一种基于生成对抗的目标跟踪方法，其特征在于,所述步骤4中实施目标跟踪过程：

S1、将第一帧的跟踪图像和目标位置标签输入跟踪网络，利用分类损失函数更新二分类网络的全连接层；

S2、利用掩膜生成网络生成大量目标特征矩阵被修改的图像，利用修改过的图像和分类损失函数更新二分类网络的全连接层，迭代50次。

S3、然后输入需要跟踪的后续图像到目标跟踪网络，跟踪网络将输出目标的坐标，以此对目标物体进行准确、鲁棒的跟踪定位。

4.根据权利要求1所述的一种基于生成对抗的目标跟踪方法，其特征在于,所述目标跟踪网络共设置损失函数3个损失函数，分别为：分类损失函数、生成损失函数和对抗损失函数；其中：分类损失函数用于训练二分类网络，生成损失函数和对抗损失函数用于训练掩膜生成网络；

所述生成损失函数被定义为：

L_G＝D(G(C)·C)·log(1-D(G(C)·C))+λ||G(C)-M||²

所述对抗损失函数被定义为：

L_D＝-logD(M·C)-D(G(C)·C)·log(1-D(G(C）·C))

其中，G为掩膜生成网络，D为只包含特征提取网络和二分类网络的目标跟踪网络；G(C)为掩膜生成网络生成的掩膜矩阵，G(C)·C为被掩膜生成网络修改的目标特征矩阵；D(M·C)为跟踪网络对被锚点生成的掩膜矩阵修改的目标特征矩阵推理得到的概率，D(G(C)·C)为跟踪网络对被掩膜生成网络修改的目标特征矩阵推理得到的概率；M为基于锚点生成的掩膜矩阵，M·C为被锚点掩膜修改的目标特征矩阵，||G(C)-M||为两个掩膜矩阵间的欧氏距离。

5.根据权利要求1-4任一项所述的一种基于生成对抗的目标跟踪方法，其特征在于,所述掩膜生成网络由反卷积层、卷积层和全连接层组成，所述掩膜生成网络是通过输入图像特征矩阵中的目标特征矩阵生成一个代表权重的矩阵，用于改变目标特征矩阵的一部分特征值。