[发明专利]一种基于内部裁剪和多层特征信息融合的目标跟踪方法

说明书

本发明属于计算机视觉技术领域，公开了一种基于内部裁剪和多层特征信息融合的目标跟踪方法，包括：获取视频序列数据集，根据视频序列数据集构成训练集；构建孪生网络，孪生网络的基础骨干采用经内部裁剪单元改进后的ResNet18特征提取网络和RPN网络的组合；基于训练集，训练孪生网络，获得训练收敛的孪生网络模型；利用孪生网络模型进行在线跟踪。本发明解决了现有技术中深度学习跟踪方法的特征表达能力和模型泛化能力弱，跟踪器无法有效地应对目标表观的剧烈时空变化的问题。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于内部裁剪和多层特征信息融合的目标跟踪方法。

背景技术

目标跟踪技术是提取视频关键信息的重要技术手段，其旨在获取感兴趣目标在视频序列中的位置，从而提取出目标的运动轨迹。该课题是计算机视觉领域的重要基础课题，在此基础上可以进行更深层次的分析，如异常行为识别，基于视频序列的行人重识别等。

目前主流的目标跟踪算法包括相关滤波类算法和深度学习算法。相关滤波类算法引入信号处理中信号相关性的概念，代表性算法有MOSSE、KCF、BACF等。其中，KCF算法的提出将相关滤波类算法在跟踪领域的应用推向了高潮，但是相关滤波类算法都存在尺度自适应和边界效应的问题。尺度自适应是指如果滤波模板的尺度不能与目标尺度统一的话，当目标尺度变小，滤波模板会引入过多的背景信息；当目标尺度变大，滤波模板会局限在目标的局部特征，最终都会导致跟踪漂移现象。所谓的边界效应是由于循环矩阵的样本生成方式引入的，会造成许多不合理的训练样本，并且在测试阶段无法应对运动过快的场景。深度学习算法相比于传统算法，具备特征表达能力较强的优势。但是由于在目标跟踪任务中，待跟踪目标是任意的，且只有第一帧的信息，而深度学习的优势之一就是利用大量的标注信息学习到一个统计模型，训练数据和先验信息的缺失导致深度学习算法在跟踪领域的应用起步较晚。深度学习算法大致分为深度学习网络只做特征提取器，采用“线下训练+线上微调”的策略进行，代表性算法有DLT、HCF等，以及基于孪生网络的单目标跟踪算法。基于孪生网络的单目标跟踪算法将跟踪问题看作相似度计算问题，形式简单，可以利用线下大规模视频序列数据集，无需线上更新。

然而，现有的大多数基于孪生网络的跟踪器的特征提取模块都采用类AlexNet的浅层神经网络，特征表达能力较弱。但是通过实验发现当采用更深的Inception或ResNet做特征提取模块时，跟踪准确率会迅速下降，分析其原因是由于深层网络的填充操作，破坏了孪生网络的特征平移不变性。因此，如何消除深层网络填充操作带来的不利影响，从而可以构造更深层次的特征提取网络是值得探索的问题。

发明内容

本申请实施例通过提供一种基于内部裁剪和多层特征信息融合的目标跟踪方法，解决了现有技术中深度学习跟踪方法的特征表达能力和模型泛化能力弱，跟踪器无法有效地应对目标表观的剧烈时空变化的问题。

本申请实施例提供一种基于内部裁剪和多层特征信息融合的目标跟踪方法，包括以下步骤：

步骤1、获取视频序列数据集，根据所述视频序列数据集构成训练集；

步骤2、构建孪生网络，所述孪生网络的基础骨干采用经内部裁剪单元改进后的ResNet18特征提取网络和RPN网络的组合；

步骤3、基于所述训练集，训练所述孪生网络，获得训练收敛的孪生网络模型；

步骤4、利用所述孪生网络模型进行在线跟踪。

优选的，所述步骤1包括：

步骤1.1、根据视频序列数据集的标注信息，获得目标中心位置和尺寸信息；

步骤1.2、根据所述目标中心位置和尺寸信息，通过裁剪、缩放处理获得所述视频序列数据集中所有视频序列图像的模板图像和搜索图像，所述模板图像和搜索图像组成的成对图像构成所述训练集。

优选的，所述步骤1.2中包括：