[发明专利]一种基于孪生网络的多全卷积融合的单目标跟踪方法

说明书

本发明提供基于孪生网络的多全卷积融合的单目标跟踪方法，包括预处理目标图像；获取预处理目标图像的卷积特征图，以Alexnet五层网络作为主干网络，分别提取模板第四层和第五层的卷积特征以及搜索分支第四层和第五层的卷积特征；将所提取的特征按层分别进行互相关操作，其中，和表示模板区域z和搜索区域x经过相同卷积操作后得到的特征映射，*表示响应图的内积，b1表示偏差；将两个响应图按通道方式进行叠加；针对叠加后的响应图，找到它们各自通道和空间所占的权重；确定得分图上最大响应值点。本发明方法相比于以往的只选取最后一层特征进行互相关得到的响应图来说，即使目标发生变化，标出的中心位置也会更准确。

技术领域

本发明涉及计算机视觉数字图像处理技术领域，特别涉及基于孪生网络的多全卷积融合的单目标跟踪方法。

背景技术

孪生网络(Siamese Network)的意思是两个神经网络共享权值。一般来说，一个孪生网络有两个输入，而孪生网络的作用就是衡量这两个输入的相似程度。具体过程为：首先将两个输入分别喂进两个共享权值的神经网络，然后将两个输入映射到新的特征空间，最后通过损失函数来比较两个输入的相似程度。

通道注意力模块的作用是关注什么样的特征是有意义的。它是将特征图在空间维度上进行压缩，压缩采用了平均池化和最大池化两种方式，得到两个各一维矢量，然后将这两个矢量送到同一个多层感知机中，接着将输出的特征逐元素求和合并，产生通道注意力图。通道注意力机制可以表示为：

M_c(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

其中，AvgPool(F)和MaxPool(F)表示对空间维度分别进行平均池化和最大池化，MLP表示多层感知机，σ表示为Sigmoid激活函数。

空间注意力模块是对通道进行压缩，在通道方向分别进行了平均池化和最大池化，然后将提取到的特征按通道方向叠加，得到一个二通道的特征图，最后经过卷积操作和激活函数得到最终的特征。空间注意力机制可以表示为：

M_s(F)＝σ(f^7×7([AvgPool(F)；MaxPool(F)]))

其中，AvgPool(F)和MaxPool(F)表示沿通道轴分别进行平均池化和最大池化，f^7x7表示卷积操作，卷积核大小为7×7，σ表示为Sigmoid激活函数。

基于孪生网络提取的特征包含着模板和搜索区域的信息，它们中的目标位置在不停的变化并且提取到的特征有略微差别。基于提取的特征，通过计算模板和搜索区域的相似性，得分图上最大值的点为当前目标所在的中心。选取的最后一层特征互相关得到的响应图只能大概找到目标的中心位置，相对来说，当目标发生变化的时候，标出的目标中心位置可能会不准确。

发明内容

本发明的目的在于提供一种基于孪生网络的多全卷积融合的单目标跟踪方法，以解决基于孪生网络提取的特征包含着模板和搜索区域的信息，它们中的目标位置在不停的变化并且提取到的特征有略微差别所导致标出的目标中心位置可能会不准确的问题。

为了解决上述技术问题，本发明的技术方案是：提供一种基于孪生网络的多全卷积融合的单目标跟踪方法，包括以下步骤：

步骤一、预处理目标图像；

步骤二、获取预处理目标图像的卷积特征图，以Alexnet五层网络作为主干网络，分别提取模板第四层和第五层的卷积特征以及搜索分支第四层和第五层的卷积特征；

步骤三、将所提取的特征按层分别进行互相关操作，公式如下：

其中，和表示模板区域z和搜索区域x经过相同卷积操作后得到的特征映射，*表示响应图的内积，b1表示偏差；

步骤四、将两个响应图按通道方式进行叠加；