[发明专利]一种基于旋转自适应卷积网络的视觉跟踪方法

说明书

本发明公开了一种基于旋转自适应卷积网络的视觉跟踪方法。本发明具体步骤包括搭建VGG19网络，在VGG19网络中搭建旋转自适应模块，获得基于旋转自适应模块的视觉跟踪网络模型，最后在公开数据集OTB2015上对旋转自适应卷积网络模型进行实验。由于多数跟踪算法一般只对跟踪目标的位置和尺度进行预测，而忽略了目标对象在跟踪过程中可能发生了旋转。针对现有视觉跟踪方法的不足，本发明利用卷积网络能快速提取目标丰富的层次特征(包括浅层特征和深层特征)，并添加旋转自适应模块来增强跟踪器应对目标旋转变化的稳定性，从而进一步提升跟踪算法的准确性和鲁棒性。此外，本发明提出的旋转自适应模块，为各类目标跟踪方法提供一种鲁棒的目标旋转位置估计方法。

技术领域

本发明属于视觉目标跟踪技术领域，尤其是涉及一种基于旋转自适应卷积网络的视觉跟踪方法。

背景技术

视觉目标跟踪已经研究了几十年，但仍然是一种具有挑战性的热点问题。视觉目标跟踪在许多领域都得到了实际应用，如自动驾驶、行为识别和机器人导航等。相比传统的视觉目标跟踪算法，近些年提出的基于深度学习的跟踪方法在跟踪性能和评估方法方面都取得了很大的进展。在目标跟踪过程中，大多数跟踪方法一旦遇到全遮挡、快速运动、运动模糊、目标丢失等复杂场景的挑战时，跟踪器的整体性能会受到影响。因此，构建一个鲁棒高效的视觉跟踪方法仍然存在着相当大的挑战。

在目标跟踪过程中，跟踪器通常依赖于被跟踪对象的空间布局。绝大多数的跟踪算法一般只对跟踪目标的位置和尺度进行预测，而忽略了目标对象在跟踪过程中可能发生了旋转。假设跟踪的目标发生了显著的旋转变化，而跟踪器中的跟踪框不会随之自适应旋转，那么即使是性能非常优秀的跟踪器也很难跟上处于旋转中的目标。以 OTB2015数据集中的MotorRolling视频序列为例，该视频中的目标从第一帧开始，就处于旋转状态，直到整个视频的最后一帧，整个过程目标经历了显著的旋转变化。因此，该视频序列挑战难度比较大，很多经典的跟踪器成功跟踪10多帧以后，跟踪框就开始偏离目标位置，导致整体的跟踪性能大幅度下降。

针对跟踪过程中出现的目标旋转变化问题，提出了一种新型的旋转自适应卷积网络视觉跟踪方法，需要在提高精度值和成功值这两方面进行优化。

发明内容

针对现有技术的不足，本发明提出一种新型的旋转自适应卷积网络视觉跟踪方法。利用卷积网络能快速提取目标丰富的层次特征(包括浅层特征和深层特征)，并添加旋转自适应模块来增强跟踪器应对目标旋转变化的稳定性，从而进一步提升跟踪算法的准确性和鲁棒性。此外，本发明提出的旋转自适应模块，为各类目标跟踪方法提供一种鲁棒、准确的目标旋转位置估计方法。

一种基于旋转自适应卷积网络的视觉跟踪方法，该方法具体包括以下步骤：

步骤1、搭建VGG19网络模块；

1.1、VGG19网络模块包含19个隐藏层，其中前16个卷积层为卷积和池化操作的交替，最后一个卷积层后紧连接3个全连接层。每个卷积层的卷积核为3x3。

在本实验中需要提取conv3-4，conv4-4，conv5-4作为目标表征。

1.2、为了解决pool5卷积特征图过小的问题，使用双线性插值将每个卷积特征图的大小调整为固定尺度大小。令h表示特征图，x 表示上采样特征图，第i个位置的特征向量为：

其中，插值权重α_ik分别取决于第i和k个相邻特征向量的位置。

1.3、VGG-19神经网络框架的基本原理是，能够在conv3的特征图中清晰的看到目标的轮廓，但是在conv5的特征图中已经很难看到细节所在。然而，在conv5的特征图包含了较多的语义信息。