[发明专利]一种基于通道与空间注意力机制的孪生网络目标跟踪方法

权利要求书

1.一种基于通道与空间注意力机制的孪生网络目标跟踪方法，其特征在于，所述方法包括如下步骤：

步骤一：对视频或图像数据集进行处理，以获得统一图像大小的多个目标图像；

步骤二：基于卷积神经网络模型、通道注意力机制以及空间注意力机制，构建得到新型骨干网络模型；

步骤三：从所述多个目标图像中提取训练样本，以对所述新型骨干网络模型进行训练；

步骤四：利用训练好的所述新型骨干网络模型在所述多个目标图像中提取以得到目标图像样本深层特征，并将所述目标图像样本深层特征在目标图像候选区域进行相似性匹配以得到多个目标候选块，其中每个目标候选块均分别对应有一相似度得分；

步骤五：利用获取到的最大相似度得分的目标候选块进行目标跟踪。

2.根据权利要求1所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法，其特征在于，所述新型骨干网络模型为孪生网络框架，所述孪生网络框架包括模板分支以及搜索分支；

其中，从所述多个目标图像中提取训练样本的步骤包括：

当对所述目标图像进行搜索的子窗口扩展到所述目标图像的范围之外时，缺失的图像部分利用平均RGB值进行填充。

3.根据权利要求2所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法，其特征在于，在所述孪生网络框架中，所述方法包括：

分别通过所述模板分支以及所述搜索分支进行目标图像的输入，并根据所述模板分支以及所述搜索分支以获取目标图像样本深层特征；

在所述孪生网络框架中，存在如下公式：

其中，h表示输入输出信号的映射函数，k表示步幅，是输入输出信号中有效区域的转换值，与均表示平移运算符，表示输入的目标图像。

4.根据权利要求3所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法，其特征在于，在所述步骤四中，所述相似度得分的公式表述为：

其中，表示两个输入的目标图像之间的相似度得分，表示值的偏差，表示实数集，与表示两个输入的目标图像通过孪生网络框架后的输出特性，表示两个输入的目标图像，表示卷积嵌入函数。

5.根据权利要求4所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法，其特征在于，在利用训练好的所述新型骨干网络模型在所述多个目标图像中提取以得到目标图像样本深层特征的步骤中，所述通道注意力机制执行如下步骤：

通过最大池化以及全局平均池化来获得两个通道的目标图像的特征；

将经过最大池化以及全局平均池化之后所获得的两个通道的目标图像的特征，输入到多层感知机网络中经元数求和后得到特征向量；

将所述特征向量通过Sigmoid激活函数以得到第一权重系数，将所述第一权重系数与输入的目标图像进行相乘以得到第一加权新特征。

6.根据权利要求5所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法，其特征在于，所述第一权重系数表示为：

其中，为第一权重系数，表示Sigmoid激活函数，表示共享多层感知机网络的权重，表示ReLU函数，为全局平均池化函数，为最大池化函数，表示输入的目标图像；

所述第一加权新特征表示为：

其中，表示第一加权新特征，表示元数级的乘法。

7.根据权利要求6所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法，其特征在于，在利用训练好的所述新型骨干网络模型在所述多个目标图像中提取以得到目标图像样本深层特征的步骤中，所述空间注意力机制执行如下步骤：

通过最大池化以及全局平均池化来获得两个通道的目标图像的特征，并通过第一卷积层对两个通道的目标图像的特征进行拼接；

将拼接后的两个通道的目标图像的特征，通过第二卷积层以及Sigmoid激活函数计算得到第二权重系数；

将所述第二权重系数与所述第一加权新特征进行相乘以得到第二加权新特征。