[发明专利]一种基于困难正样本生成的目标跟踪方法

权利要求书

1.一种基于困难正样本生成的目标跟踪方法，其特征在于，包括以下步骤：

(1)获取用于训练深度跟踪模型的已标注视频；

(2)针对训练数据中的每一个视频，利用变分自编码器进行对应流型的学习即正样本生成网络，根据编码后的输入图像，微调编码，生成大量正样本；

(3)将正样本输入到困难正样本转换网络，训练一个智能体来学习用一个背景图像块来遮挡目标物体，智能体不断的进行包围盒的调整使得样本变的难以识别，达到困难正样本生成的目的，输出为被遮挡的困难正样本；

(4)基于生成的困难正样本，训练孪生网络用于目标图像块与候选图像块的匹配，来完成当前帧目标的定位，直至整个视频处理完成。

2.根据权利要求1所述的一种基于困难正样本生成的目标跟踪方法，其特征在于，所述步骤(1)中，人工标定一定量的用于跟踪的视频，标定内容包括在每一个视频帧上找到和第一帧相同的目标物体，并且给出目标物体在当前帧的位置。

3.根据权利要求1所述的一种基于困难正样本生成的目标跟踪方法，其特征在于，所述步骤(2)中，首先进行数据的预处理，将数据存储为深度神经网络所能够读取的数据格式h5文件，所采样的图像块和真值的重合度超过区分阈值即为正样本，低于设定阈值即为负样本。

4.根据权利要求1所述的一种基于困难正样本生成的目标跟踪方法，其特征在于，所述困难正样本转换网络包括卷积层，通过卷积运算使得原始信号特征增强并且降低噪音；

池化层，利用图像局部性原理通过抽样的方法减少特征；

和全连接层，全连接层的每一个神经元都与下一层的每一个神经元相连，执行正常分类。

5.根据权利要求4所述的一种基于困难正样本生成的目标跟踪方法，其特征在于，将待遮挡的正样本图像作为输入，从输入层到卷积层通过卷积操作，卷积层的每个神经元可以与输入层中一定尺寸的局部感受野相连，通过卷积后获得了所述待遮挡图像的特征；从卷积层到池化层的过程在于减少上一层的特征数量；经过卷积层和池化层之后得到的特征会由全连接层进行分类，经过全连接层的计算处理，最终输出结果，全连接层上的每一个输出节点为智能体所要选择动作的概率，即每个输出节点上输出的是当前状态下应该执行某个动作来改变遮挡区域动作的概率。

6.根据权利要求1所述的一种基于困难正样本生成的目标跟踪方法，其特征在于，所述训练过程采用深度学习：对于正样本生成网络，初始学习率为0.001，优化算法为RMSprop，训练迭代次数为20，000；对于正样本转换网络，训练数据的mini-batch为100，优化方法为Adam，初始学习率为1e-6；对于后续用于跟踪的孪生网络来说，初始学习率为0.0001，动量为0.9，权重衰退参数为0.0005。

7.根据权利要求6所述的一种基于困难正样本生成的目标跟踪方法，其特征在于，所述深度学习的过程如下：

对于正样本生成网络，采用了两层全连接层来编码输入的被拉成列向量的图像，然后将编码后的特征输入到两个全连接的分支中，进行均值和标准差的估计，然后输入到三个全连接层之后，最终输出为重构之后的图像；

对于困难正样本转换网络，将样本输入到预训练好的VGG网络中，然后经过两层全连接层，输出智能体所选择的当前状态下执行的动作，通过执行动作，得到新的被遮挡样本，计算该样本与真值之间的相似度，若该动作属于移动动作若相似度降低，则给定当前动作正的奖励，否则给定负的奖励；

若该动作属于停止动作，当相似度低于某一阈值时，给定正的奖励，否则给定负的奖励；

对于用于跟踪的孪生网络，拥有两个分支网络，分别用于编码所要搜索的目标以及当前帧的候选搜索区域，这两个分支的参数是共享的；

该网络的训练是基于正负样本对的，即：如果两个图像块的重合度大于某一阈值，则认为是同一个图像块，给定标签为1，否则认为是不同的图像块，给定标签为0；

使用MarginContrastive Loss函数来衡量模型输出结果与真实图相对之间的差异，该差异可以逐层的反向传到网络中，进行模型的参数训练。