[发明专利]一种基于困难正样本生成的目标跟踪方法

说明书

本发明公开了一种基于困难正样本生成的目标跟踪方法，针对训练数据中的每一个视频，利用变分自编码器进行对应流型的学习即正样本生成网络，根据编码后的输入图像，微调编码，生成大量正样本；将正样本输入到困难正样本转换网络，训练一个智能体来学习用一个背景图像块来遮挡目标物体，智能体不断的进行包围盒的调整使得样本变的难以识别，达到困难正样本生成的目的，输出为被遮挡的困难正样本；基于生成的困难正样本，训练孪生网络用于目标图像块与候选图像块的匹配，来完成当前帧目标的定位，直至整个视频处理完成。本发明基于困难正样本生成的目标跟踪方法，直接从数据中去学习目标的流型分布情况，可得到大量多样的正样本。

技术领域

本发明涉及一种视觉跟踪技术，尤其涉及的是一种基于困难正样本生成的目标跟踪方法。

背景技术

目前，主流深度学习方法跟踪通常是包含如下步骤：第一步，收集大量手工标注的视频；第二步，在每个视频上，对第一帧标注框附近进行正负样本的稠密采样；第三步，利用上一步采样到的样本训练二元分类器；第四步，在搜索框附近确认候选区域，进行分类，选择得分最高的区域当作追踪结果；第五步，重复以上步骤直至视频结束。

现有技术不足在于：如图1所示，现有的稠密采样方法得到的样本多样性不足；困难样本比较少，模型对挑战因素过于敏感。由于视觉跟踪仅给定一个包围盒作为初始条件，而跟踪的目标又是多样的，使得基于深度学习的跟踪方法无法得到足够的训练样本，属于典型的小样本学习问题。从图2上看，现有标注好的视频中，各种有挑战性的视频帧非常短。

而常规的稠密采样所得到的正样本多样性不足，使得模型容易过拟合，对挑战性因素过于敏感；现有的困难正样本都是根据模型的预测结果得到的，即：设定一个阈值范围，将置信度在该范围的样本都选择出来，放到下一个循环中继续微调模型，使得模型的鲁棒性更强。然而这种方法的选择依据依赖于模型的预测结果，但是模型的预测结果并非都是准确的，从而使得跟踪模型充满了不确定性。

发明内容

本发明所要解决的技术问题在于：常规稠密采样方法得到的样本多样性不足以及困难样本少，模型对挑战因素过于敏感，提供了一种基于困难正样本生成的目标跟踪方法。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

(1)获取用于训练深度跟踪模型的已标注视频；

(2)针对训练数据中的每一个视频，利用变分自编码器进行对应流型的学习即正样本生成网络，根据编码后的输入图像，微调编码，生成大量正样本；

(3)将正样本输入到困难正样本转换网络，训练一个智能体来学习用一个背景图像块来遮挡目标物体，智能体不断的进行包围盒的调整使得样本变的难以识别，达到困难正样本生成的目的，输出为被遮挡的困难正样本；

(4)基于生成的困难正样本，训练孪生网络用于目标图像块与候选图像块的匹配，来完成当前帧目标的定位，直至整个视频处理完成。

所述步骤(1)中，人工标定一定量的用于跟踪的视频，标定内容包括在每一个视频帧上找到和第一帧相同的目标物体，并且给出目标物体在当前帧的位置。

所述步骤(2)中，首先进行数据的预处理，将数据存储为深度神经网络所能够读取的数据格式h5文件，所采样的图像块和真值的重合度超过区分阈值即为正样本，低于设定阈值即为负样本。

所述困难正样本转换网络包括卷积层，通过卷积运算使得原始信号特征增强并且降低噪音；

池化层，利用图像局部性原理通过抽样的方法减少很多特征；

和全连接层，全连接层的每一个神经元都与下一层的每一个神经元相连，执行正常分类。