[发明专利]基于注意力和关系检测的孪生网络目标跟踪方法及系统

权利要求书

1.基于注意力和关系检测的孪生网络目标跟踪方法，其特征是，包括：

获取视频序列，将第一帧作为模板图像，当前帧作为搜索图像；

在模板分支中，将模板图像输入到ResNet-50骨干网络中，进行特征提取；采用注意力模块对最后三层提取的特征分别进行特征增强处理，得到三个模板注意力特征；

在搜索分支中，根据前一帧的跟踪结果裁剪出搜索图像，将搜索图像输入到ResNet-50骨干网络中，进行特征提取；采用注意力模块对最后三层提取的特征分别进行特征增强处理，得到三个搜索注意力特征；

将三个模板注意力特征和三个搜索注意力特征，分别对应输入到目标跟踪模块Siamese RPN中得到三个分类结果和三个回归结果；将三个分类结果和三个回归结果分别进行加权融合，得到融合后的分类结果和融合后的回归结果；

基于融合后的回归结果，输入到关系检测器中以度量回归结果中目标和预测图像的关系，得到回归分支的分数图；将回归分支的分数图与分类分支的分数图进行点乘，以过滤掉背景中的干扰；将过滤掉干扰的分数图经过卷积操作，得到最后的分类得分，并获取最大响应位置对应的预测框。

2.如权利要求1所述的基于注意力和关系检测的孪生网络目标跟踪方法，其特征是，所述采用注意力模块对最后三层提取的特征分别进行特征增强处理，得到三个模板注意力特征；具体是指：

对ResNet-50网络中的covn3_x层、covn4_x层、covn5_x层提取的特征f₃(z)、f₄(z)、f₅(z)用注意力模块进行特征增强，生成模板注意力特征f₃(z’)、f₄(z’)、f₅(z’)。

3.如权利要求1所述的基于注意力和关系检测的孪生网络目标跟踪方法，其特征是，所述采用注意力模块对最后三层提取的特征分别进行特征增强处理，得到三个搜索注意力特征；具体包括：

对ResNet-50网络中的covn3_x层、covn4_x层、covn5_x层提取的特征f₃(x)、f₄(x)、f₅(x)用注意力模块进行特征增强，生成搜索注意力特征f₃(x‘)、f₄(x‘)、f₅(x‘)。

4.如权利要求1所述的基于注意力和关系检测的孪生网络目标跟踪方法，其特征是，所述注意力模块，工作原理：

将从ResNet-50骨干网络中提取的的特征图分成多个组，采用通道分离，分成两个分支并行处理各组的子特征；

对于通道注意力分支，使用全局平局池化生成通道统计量，用一对参数来缩放和移动通道向量；

对于空间注意力分支，使用group norm生成空间统计量，用类似于通道注意力分支生成相关特征；然后将两个分支结合起来；随后将所有子特征聚集；使用通道混合实现不同子特征之间的通信；最后输出注意力特征。