[发明专利]基于对抗迁移网络的视觉跟踪方法及系统

说明书

本发明提出了一种基于对抗迁移网络的视觉跟踪方法及系统，其中，方法包括：对训练集进行特征提取以得到特征矩阵，并根据训练集训练通用的样本特征提取器和目标背景样本分类器；在得到线上跟踪任务提供的第一帧图片后，从训练集中查找与线上跟踪任务相似度最大的一个视频；根据第一帧图片和线下视频中的正负样本对对抗迁移网络进行对抗迁移训练；根据与线上跟踪任务相似度最大的一个视频的特征矩阵以及通用的样本特征提取器和目标背景样本分类器，对每一帧图像进行跟踪。该方法能够解决视觉跟踪方法中的负迁移问题，大量训练迁移后的训练样本使得跟踪网络拥有更强跟踪能力，显著提高跟踪算法的鲁棒性和精确度。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于对抗迁移网络的视觉跟踪方法及系统。

背景技术

视觉跟踪问题是计算机视觉领域中的一个重要而又基本的问题，同时也是实现很多高级计算机视觉任务的基础，比如机器人应用，智能化视频监控系统，医疗图像分析和智能交通控制等。视觉跟踪问题可以定义为：给定待跟踪目标在视频中第一帧的位置后，需要算法在接下来的每一帧中根据图像信息和上一帧的位置估计出移动目标在这一帧中的状态。

从框架上来看，过去几十年最为经典的视觉跟踪方法主要可以被分为两大类，一类是产生式方法，一类是判别式方法。产生式方法的核心思想是通过学习一个模板去寻找每一帧中与模板最相似的那一个图像块作为跟踪的目标，候选图像块一般由粒子滤波框架给出。判别式方法则是利用机器学习的理论，通过在真实目标周围使用各种运动模型采集出主体是背景的负样本图像块和主体是目标的正样本图像块，用这些有标签的图像块训练出一个分类器，并用分类器对下一帧中采集到的新样本进行分类，并把其中得分最高的候选区域样本作为这一帧跟踪的结果。尽管已经有很多巧妙的跟踪算法被提出，但是在很多实际应用中，算法的跟踪性能还不是很令人满意，因为不同的跟踪任务中的待跟踪目标往往差异很大，同时目标在跟踪过程中发生的剧烈形变也会导致对跟踪目标的建模难度增加。

目前主流的跟踪算法包括两类：基于相关滤波的跟踪算法和基于卷积神经网络的跟踪算法。受益于快速傅里叶变换，基于相关滤波的跟踪算法可以达到很高的跟踪速度，相关技术中首次将相关滤波的思想应用于视觉跟踪中，提出了最小均方误差输出和滤波器，并达到了669FPS的跟踪速度。相关技术中进一步用循环矩阵理论给出了相关滤波算法的原理分析，并提出了核化相关滤波器，进一步提高了跟踪的精度。相关技术中通过对相关滤波跟踪算法引入卷积神经网络特征，使得基于相关滤波的跟踪算法达到了最先进的水平。但是，随着相关滤波所使用的特征变得越来越复杂，其跟踪速度上的优势也不复存在。

基于卷积神经网络的跟踪算法使用深度卷积神经网络来对目标的外观进行建模，但是通常都会由于巨大的计算量而导致跟踪速度很慢，早期的基于卷积神经网络的跟踪算法通常是在离线训练好网络以后就将其作为一个通用的特征提取器，相关技术中使用一个图像数据集训练出了一个紧凑的目标表征方式用于对跟踪目标进行建模。相关技术中发现了卷积神经网络的底层往往能够获取到目标和背景之间的判别信息，而顶层网络则是作为一个类别检测器。相关技术中通过使用带有标签的视频进行训练，并且在线收集样本对网络进行微调成功达到了视觉跟踪领域的先进水平。

此外，也有很多方法尝试将基于相关滤波的跟踪算法和基于卷积神经网络的算法进行融合。相关技术中提出在不同的卷积神经网络层学习相关滤波器，从而得到层次化的滤波响应用于跟踪。相关技术中使用图像对来训练卷积神经网络，并使用第一帧作为模板来对后续的帧进行匹配。

尽管基于深度神经网络的跟踪算法已经成为了视觉跟踪领域的主流算法，但是这些算法往往都需要大量的标注样本进行训练。然而，对于视觉跟踪任务，只有第一帧可以提供准确的正负样本。为了解决这个问题，很多算法都尝试用有标注的图片或视频数据训练出一个通用的模型，然后再用线上第一帧中的样本对模型进行微调。尽管这种做法也得到了不错的跟踪效果，但是却不可避免的会导致负迁移现象，因为这种做法忽视了不同跟踪任务中待跟踪目标之间的本质差异。

发明内容