[发明专利]一种孪生网络视频目标跟踪方法及装置

权利要求书

1.一种基于分层注意力机制的孪生网络视频跟踪方法，其特征在于，所述方法包括以下步骤：

步骤1、读取并预处理网络输入的模板图像和搜索图像；

步骤2、将预处理后的模板图像和搜索图像分别输入到训练好的孪生网络模型中，经过Inception模块以及卷积层的特征提取模块分别得到模板图像和搜索图像的特征图；

所述孪生网络模型包括模板分支和搜索分支，模板分支和搜索分支特征提取模块分别提取特征，模板分支上加入注意力模块进行特征重标定；

步骤3、通过模板分支网络第三卷积层提取低层特征，通过模板分支网络第五卷积层提取高层特征，将所述低层特征与所述高层特征分别通过注意力模块；

步骤4、将模板分支通过注意力模块的特征与搜索分支得到的特征进行相关操作，得到各层对应的响应图，再将各层响应图采用AdaBoost算法进行融合得到最终响应图，进而得到目标位置；

步骤5、在目标位置的基础上利用尺度滤波器进行尺度估计，通过设置尺度池，训练尺度滤波器选出最优尺度大小；

步骤6、根据最优尺度大小更新尺度滤波器；

步骤7、判断当前帧是否是最后一帧，如果是，则结束，否则读取新一帧搜索图像并跳转步骤1。

2.根据权利要求1所述的基于分层注意力机制的孪生网络视频跟踪方法，其特征在于，所述方法的步骤还包括：构建并训练孪生网络模型；

所述孪生网络模型的构建方法为：

构建原孪生网络模型，包括模板分支和搜索分支，所述模板分支和搜索分支均包括第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第五卷积层，将原孪生网络模型的模板分支的第一卷积层用Inception模块进行替换，然后将第三、第五卷积层之后加上注意力模块，将相关滤波器加到原孪生网络模型的模板分支的第三卷积层之后；

所述孪生网络模型的训练方法包括：用ImageNet数据集进行训练，得到改进后的网络参数。

3.根据权利要求1所述的基于分层注意力机制的孪生网络视频跟踪方法，其特征在于，步骤1中，所述预处理网络输入的模板图像和搜索图像的方法包括：

根据给定的初始目标框(μ,ν,w,h)，(μ，ν)代表目标中心位置的横纵坐标，(ω，h)代表目标的宽度和高度；其中目标的位置为pos(μ,ν)，目标的尺度大小为target(w,h)，通过以下公式调整模板图像的大小：

s(w+2p)×s(h+2p)＝A         (1)

其中A是模板图像的大小，值为定值127²像素，s是尺度因子，p是上下文边界；

先将包含上下文信息的(w+2p)×(h+2p)的图片扩展，然后进行尺寸调整，生成大小为127×127像素的模板图像；以相同的方式将搜索图像的大小设置为255×255像素。

4.根据权利要求1所述的基于分层注意力机制的孪生网络视频跟踪方法，其特征在于，步骤2中，所述特征图的提取方法包括以下步骤：

为样本X的第l层的特征向量，样本X的第l层大小为M×N×D，R^M×N×D表示大小为M×N×D的实数集，M，N和D分别表示样本X的宽度，高度和特征维度；第l层特征的相关滤波器所对应的高斯函数为G_l，样本X的第l层特征的相关滤波器需要最小化按下面公式计算：

其中为的第d个通道，表示为第d个通道的相关滤波器，*表示为循环卷积运算，λ为正则化系参数(λ≥0)；通过FFT训练相关滤波器，求得第d个通道的相关滤波器为

样本X通过第l个相关滤波器产生的相关响应图的计算公式为：

其中，F(·)表示进行傅里叶变换，F^-1表示傅里叶反变换，^-表示复共轭，⊙表示逐像素相乘。