[发明专利]一种基于孪生网络的多全卷积融合的单目标跟踪方法

权利要求书

1.一种基于孪生网络的多全卷积融合的单目标跟踪方法，其特征在于，包括以下步骤：

步骤一、预处理目标图像；

步骤二、获取预处理目标图像的卷积特征图，以Alexnet五层网络作为主干网络，分别提取模板第四层和第五层的卷积特征以及搜索分支第四层和第五层的卷积特征；

步骤三、将所提取的特征按层分别进行互相关操作，公式如下：

其中，和表示模板区域z和搜索区域x经过相同卷积操作后得到的特征映射，*表示响应图的内积，b1表示偏差；

步骤四、将两个响应图按通道方式进行叠加；

步骤五、通道关注机制的表达式：

M_c(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

其中，AvgPool(F)和MaxPool(F)表示对空间维度分别进行平均池化和最大池化，MLP表示多层感知机，σ表示为Sigmoid激活函数；空间关注机制的表达式：空间关注机制的表达式：M_s(F)＝σ(f^7×7([AvgPool(F)；MaxPool(F)]))

其中，AvgPool(F)和MaxPool(F)表示沿通道轴分别进行平均池化和最大池化，f^7x7表示卷积操作，卷积核大小为7×7，σ表示为Sigmoid激活函数；总的注意力过程为：

其中，表示逐元素相乘，F为叠加后的响应图，F′为经过通道关注后输出的得分图，F”是最终输出的得分图；

步骤六、确定得分图上最大响应值点。

2.如权利要求1所述的基于孪生网络的多全卷积融合的单目标跟踪方法，其特征在于，所述预处理目标图像包括：确定模板和搜索区域的边长，以第一帧图像的目标为中心，以模板边长裁剪的图片块作为模板区域，以搜索区域的边长裁剪每一帧图像作为搜索区域。

3.如权利要求2所述的基于孪生网络的多全卷积融合的单目标跟踪方法，其特征在于，所述模板区域偏小，以图片的均值进行填充边缘。

4.如权利要求1所述的基于孪生网络的多全卷积融合的单目标跟踪方法，其特征在于，选取Alexnet五层卷积为主干网络，两条输入通过的模型参数完全相同，分别选取第四层8x8x192、24x24x192和第五层6x6x128、22x22x128的特征图。

5.如权利要求1所述的基于孪生网络的多全卷积融合的单目标跟踪方法，其特征在于，将两个响应图按通道的方式进行叠加，两个响应图的大小均为17x17x1，按照通道的方向进行叠加，大小变为17x17x2。

6.如权利要求1所述的基于孪生网络的多全卷积融合的单目标跟踪方法，其特征在于，最后得到的响应图经过一个1x1的卷积层得到大小为17x17x1的得分图，根据得到的17x17x1的得分图，进行双三次插值生成272x272的图像，响应值最大的点为物体的中点。