[发明专利]一种基于改进孪生网络的无人机视频单目标长期跟踪方法

说明书

本发明公开了一种基于改进孪生网络的无人机视频单目标长期跟踪方法，其分为离线训练与测试应用两个阶段。本发明方法实现了无人机视频单目标长期跟踪，克服了无人机视频目标小，特征少、相机运动幅度大导致跟踪失败和遮挡后无法找回目标的缺点，精度与效率远高于传统基于孪生网络的目标跟踪方法。

技术领域

本发明涉及视频目标跟踪技术领域，尤其涉及一种基于改进孪生网络的无人机视频单目标长期跟踪方法。

背景技术

视觉目标跟踪在计算机视觉领域是一个基础性但充满挑战的研究方向，被广泛应用于各种视觉研究中，比如无人驾驶、人机交互和视频监控等。无人机拍摄的视频普遍存在目标较小、相机移动速度快、目标遮挡、光照变换等干扰因素，因此对无人机拍摄的视频进行目标跟踪至今还是一个极具挑战的研究方向。国内外学者在该领域进行了大量研究，主要方法有以下几种：

1.基于滤波理论的跟踪

目标跟踪的过程中，基于滤波的跟踪方法早就有应用，就滤波的种类来看大体有粒子滤波、卡尔曼滤波和维纳滤波三种。然而实际场景中运动目标的轨迹往往是非线性、非高斯的，所以很难直接用滤波算法来实现对复杂场景的目标跟踪。

2.基于特征的目标跟踪方法

基于特征的跟踪是依靠提取目标的某些不变性特征，来分离视频图像中的目标，并根据不同目标的具体特征来进行分类。一般来说，这些数据或多或少的都会存在共同点，再利用这些特征与各帧图像匹配以完成对目标的跟踪。最常用的特征有颜色特征、边缘特征、灰度特征以及目标角点等。这种方法稳定性比较好。同时由于只使用了目标的部分特征，计算量小，具有较好的实时性，在工程实践中应用较广。但普遍存在对目标特征的提取难度较大及选择提取哪种目标特征的问题。

3.基于深度卷积神经网络的目标跟踪

最近几年，深度卷积神经网络在计算机视觉领域取得了显著的成功，比如分类任务、目标检测等任务。所以也有很多研究者将深度学习应用到目标跟踪任务上去，其中取得突破性的且能够达到实时要求的算法就是全卷积孪生网络，把目标跟踪任务当作相似性匹配任务，即利用外部训练数据训练一个卷积神经网络作为通用的匹配函数，再把匹配函数作为目标跟踪的图像特征提取器，来对目标模板与搜索区域进行匹配，进而实现跟踪目标。但是，现今的孪生网络一般都是采用AlexNet作为基本框架，其信息表征能力有限。其次，在相机快速移动时，孪生网络很难正确匹配目标。

针对以上技术的不足，本发明提出了一种基于改进孪生网络的无人机视频单目标长期跟踪方法，其以ResNet网络为基本框架提取特征，并以多层融合的RPN网络融合特征，进行相关性分析，精确匹配跟踪目标。并在发现目标跟丢后采用SIFT算法全图搜索匹配目标，从而能实现在目标经历长期遮挡后仍能找回原目标进行跟踪。

发明内容

本发明的目的在于提供一种基于改进孪生网络的无人机视频单目标长期跟踪方法，以解决现有技术在相机快速移动时跟丢目标、目标经历遮挡后无法找回目标的问题，同时为单目标跟踪提供了一种指导性的跟踪方法。

本发明的目的是通过以下技术方案来实现的：一种基于改进孪生网络的无人机视频单目标长期跟踪方法，该方法包括离线训练阶段和测试应用阶段：

1.离线训练阶段：

通过无人机拍摄跟踪目标视频。并对采集的视频进行分帧，转成图片，对每帧图片进行跟踪目标位置标注，制成训练数据。

特别的，对于每帧图片，计算目标框大小，当目标框面积小于400像素点时，将该图片放大两倍，达到将小目标放大的效果。

在上述每帧图片，分别以127、225两种大小采样框采集一个跟踪目标模板和一个搜索区域作为图像对。