[发明专利]一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法

说明书

本发明公开了一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法，包括以下步骤，利用孪生主干网络负责提取示例样本和搜索样本的多层特征表示；定义特征聚合模块，对各层信息进行逐步地编码融合,将高层特征信息和浅层特征信息有选择性地结合以生成综合增强的特征表示；在所述特征聚合模块中引入注意引导模块,细化特征表示并抑制噪声带来的干扰，使融合的特征更具代表性。本发明的有益效果：通过自顶向下逐层融合的方式,将高层语义信息从深层卷积层传递到浅层卷积层,另外引入空间通道注意模块来细化整个网络,使得网络能够选择性地整合来自多层次的特征信息,以生成了强大的特征，且广泛的评估证明了网络的有效性。

技术领域

本发明涉及视觉目标跟踪的技术领域，尤其涉及一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法。

背景技术

近年来视觉目标跟踪是计算机视觉的基本问题之一,在过去的几年里得到了越来越多的关注，它在视频监控、人机交互以及视频编辑等方面有着广泛的应用。但由于尺度变化、遮挡、变形、快速运动和背景杂波等实际因素的影响,视觉目标跟踪仍然具有很大的挑战性。

大多数现有的跟踪方法都是基于两个成功的框架开发的。第一个是相关滤波器。由于使用快速傅里叶变换，基于相关滤波的算法具有较高的计算效率和相当好的跟踪精度。值得注意的例子为MOSSE，它是首个将相关滤波器用于目标跟踪的方法，其运行速度约为每秒700帧。然而对于复杂的跟踪场景，该跟踪器的性能通常会显著下降。所以为了应对各种挑战和实现具有竞争的跟踪性能，相关滤波跟踪器在之后的发展集中在核函数、运动信息、多维特征、多尺度估计、减缓边界效应和深度卷积特征等方面。尤其是深度卷积特征，它与手工特征相比具有更强的表示能力，已然成为了提高跟踪精度的重要手段。

然而不幸的是，视觉跟踪社区仍然受到几个问题的困扰。首先这些跟踪算法的识别能力很大程度上取决于孪生网络的特征提取能力。其次在这些孪生网络中，往往都是从最后一层卷积层中提取特征表示来进行匹配相似度计算，而深层特征表示往往分辨率较低，不利于准确定位。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的技术问题是：一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法以进行目标跟踪。

为解决上述技术问题，本发明提供如下技术方案：一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法，包括以下步骤，利用孪生主干网络负责提取示例样本和搜索样本的多层特征表示；定义特征聚合模块，对各层信息进行逐步地编码融合,将高层特征信息和浅层特征信息有选择性地结合以生成综合增强的特征表示；在所述特征聚合模块中引入注意引导模块,细化特征表示并抑制噪声带来的干扰，使融合的特征更具代表性；构建孪生渐进注意引导融合网络跟踪器用于视觉目标跟踪。

作为本发明所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法的一种优选方案，其中：所述孪生主干网络包括以下步骤，采用改进的ResNet22；定义网络分为3个阶段、总体步长为8并由22个卷积层组成；当卷积层使用填充后,使用裁剪操作来消除受到补零影响的特征计算，同时保持内部块结构不变；在网络的前两个阶段中遵循原始的ResNet进行特征下采样；在第三阶段,由步长为2的最大池化来代替卷积层执行下采样，且该层位于本阶段的第一个块中，即layer2-1。

作为本发明所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法的一种优选方案，其中：所述孪生主干网络包括两个相同的分支，分别为示例分支和搜索分支，其中，所述示例分支接收示例样本的输入；所述搜索分支接收搜索样本的输入；所述示例分支和所述搜索分支在卷积神经网络中共享参数，以确保相同的转换用于这两个样本。