[发明专利]一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法

权利要求书

1.一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法，其特征在于：包括以下步骤，

利用孪生主干网络负责提取示例样本和搜索样本的多层特征表示；

定义特征聚合模块，对各层信息进行逐步地编码融合，将高层特征信息和浅层特征信息有选择性地结合以生成综合增强的特征表示；

在所述特征聚合模块中引入注意引导模块,细化特征表示并抑制噪声带来的干扰，使融合的特征更具代表性；

构建孪生渐进注意引导融合网络跟踪器用于视觉目标跟踪；

其中，所述孪生主干网络包括以下步骤，

采用改进的ResNet22；

定义网络分为3个阶段、总体步长为8并由22个卷积层组成；

当卷积层使用填充后,使用裁剪操作来消除受到补零影响的特征计算，同时保持内部块结构不变；

在网络的前两个阶段中遵循原始的ResNet进行特征下采样；

在第三阶段,由步长为2的最大池化来代替卷积层执行下采样，且该层位于本阶段的第一个块中，即layer2-1；

所述孪生主干网络包括两个相同的分支，分别为示例分支和搜索分支，其中，

所述示例分支接收示例样本的输入；

所述搜索分支接收搜索样本的输入；

所述示例分支和所述搜索分支在卷积神经网络中共享参数，以确保相同的转换用于这两个样本；

所述特征聚合模块包括，

接收两部分的输入，分别为来自对应层的低级特征、上一层通过所述注意引导模块产生的高级注意特征；

采用级联操作将上采样后的高级注意特征与低级特征融合。

2.如权利要求1所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法，其特征在于：所述特征聚合模块包括以下步骤，

所述注意引导模块生成的高级注意特征后被送入反卷积层deconv中，其中，l为层数索引；

所述反卷积层将特征上采样到与当前低级特征S_l-1相同的空间大小；

将上采样的高级注意特征和低级特征级联在一起，并通过1×1的卷积运算conv进行特征通道压缩，生成综合特征

3.如权利要求2所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法，其特征在于：包括以下步骤，

将融合后的综合特征输入到所述注意引导模块中生成注意特征

进行细化特征并减少噪声,即引导注意特征关注更具代表性的信息表示；

过程表示如下：

其中cat(·)表示级联操作、AttGuideM(·)表示注意引导模块。

4.如权利要求3所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法，其特征在于：包括以下步骤，

将生成的注意特征作为第(l-2)层的高级特征；

高级特征与低级特征S_l-2一起输入至对应层次的所述特征聚合模块中重复特征融合过程；

示例分支网络的第3阶段最后三块卷积层layer2-2、layer2-3和layer2-4的输出特征为l＝3、卷积特征S_l∈{1,2,3}；

逐层产生注意特征和其中注意特征为直接将示例分支网络顶层特征S₃输入到所述注意引导模块生成的，即

分别将最终生成的特征以及顶层特征S₃用来与搜索分支网络的对应层输出特征进行匹配相似度计算。

5.如权利要求4所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法，其特征在于：所述注意引导模块包括空间注意机制和通道注意机制；其中，

采用空间注意机制来引导融合特征去关注更代表性的特征区域，

采用通道注意机制从通道的角度上来对特征进行强化，通过将更大权重分配给对目标有更高反应的特征通道,改进对特定目标的特征表示。