[发明专利]一种基于时空注意力机制的目标跟踪方法

权利要求书

1.一种基于时空注意力机制的目标跟踪方法，其特征在于，包括如下步骤：

步骤1，构造网络模型，用于获取待跟踪目标的模板图像和待跟踪图像；

步骤2，构造通道注意力机制模型，将所述通道注意力机制模型融入网络模型中；

步骤3，构造空间注意力机制模型，将所述空间注意力机制模型融入网络模型中；

步骤4，依据损失函数，对融入所述通道注意力机制模型和空间注意力机制模型的网络模型进行训练；

步骤5，利用训练得到的网络模型，对视频中的目标进行跟踪，获得目标跟踪结果。

2.根据权利要求1所述的一种基于时空注意力机制的目标跟踪方法，其特征在于，所述网络模型包括模板分支和搜索分支；所述模板分支用于获得模板图像，作为待跟踪目标的第一帧，所述模板图像通过初始化获得；所述搜索分支用于接收跟踪过程中的搜索图像，所述搜索图像即待跟踪目标在跟踪视频中的当前帧；将所述模板分支接收的第一帧的模板图像记为z，所述搜索分支接收的当前帧的搜索图像记为x，特征提取网络记为

3.根据权利要求1所述的一种基于时空注意力机制的目标跟踪方法，其特征在于，所述步骤2包括：

步骤2-1，经过所述网络模型中的全局平均池化层对图像特征进行特征压缩，获得大小为1×1×C的特征向量，其中，C为通道数；

步骤2-2，经过所述网络模型中的两层全连接层以及相应的激活函数，分别对经过特征压缩的所述特征向量进行降维和升维操作，输出大小为1×1×C的特征向量；

步骤2-3，通过利用Sigmoid函数生成每个通道对应的通道权重α；

步骤2-4，在所述通道注意力机制模型的输入图像特征中，根据所述每个通道与通道对应的通道权重α的乘积，获得每个通道对应的新的通道权重。

4.根据权利要求1所述的一种基于时空注意力机制的目标跟踪方法，其特征在于，所述步骤3包括：

步骤3-1，将第一帧的所述模板图像送入空间注意力机制网络，获得特征图每个像素点的权重，所述特征图即图像特征；

步骤3-2，将加权的第一帧图像特征与待跟踪图像进行模板匹配，即将送入到所述空间注意力机制网络加权得到的第一帧图像，和将每一帧所述待跟踪图像分别作输入送入网络模型中，将所述特征图中每个像素点的权重与输入图像特征相乘，得到目标的响应图，进行模板匹配；

步骤3-3，以得分最高的所述响应图对应的位置作为待跟踪目标的位置。

5.根据权利要求1所述的一种基于时空注意力机制的目标跟踪方法，其特征在于，所述步骤4包括：

步骤4-1，基于时空注意力机制的目标跟踪算法，即经过所述步骤2-1至步骤3-3的通道注意力和空间注意力得到的时空注意力模块，在离线训练过程中接受一对模板图像z和搜索图像x作为输入；

步骤4-2，将所述模板图像z分别送入通道注意力机制模型和空间注意力机制模型进行特征选择，所述通道注意力机制模型根据输入的图像特征产生通道权重α，所述空间注意力机制网络根据输入的图像特征产生权重β；

步骤4-3，根据以下公式，得到经过加权的特征图h(z)：

步骤4-4，根据以下公式，所述网络模型利用经过加权的特征图h(z)作为卷积核，对将所述搜索图像x送到特征提取网络中进行特征提取得到的特征图进行滑动卷积操作：

其中，f(z，x)为对模板图像z和搜索图像x进行特征融合互相关操作的最终响应图；

步骤4-5，根据以下公式，通过对损失函数的不断优化，得到最终的网络模型：

l(y,v)＝log(1+exp(-yv)) (3)

其中，l(y,v)是损失函数，y是ground-truth，v是预测值。

6.根据权利要求1所述的一种基于时空注意力机制的目标跟踪方法，其特征在于，所述步骤5包括：

步骤5-1，将第一帧模板图像送入特征提取网络和注意力机制网络进行特征提取；

步骤5-2，后续每一帧搜索图像经过特征提取网络得到的特征图都与模板图像利用卷积操作进行相似性计算，即采取Correlation计算方式，根据以下公式计算获得模板图像与搜索图像之间的相似性：

sim(A,B)＝AB/||A||||B||；

步骤5-3，获得响应图，根据得分最高的所述响应图对应的位置确定最终的待跟踪目标的位置，即获得所述目标跟踪结果。