[发明专利]基于多头对比网络的目标跟踪方法

权利要求书

1.一种基于多头对比网络的目标跟踪方法，其特征在于，包括如下步骤：

步骤1：构建MCTrack多头对比网络结构：引入多头对比架构和全局一致性学习机制，所述多头对比架构通过在ResNet-50网络的基础上，对每个卷积层增加单独的对比学习模型实现，所述对比学习模型包含一个参数共享的对比孪生网络、一个映射头和一个预测头；所述对比孪生网络包括模板分支和对比分支，所述全局一致性学习机制由空间一致性模块、通道一致性模块和语义一致性模块组成；

步骤2：获取模板图像：利用光学摄影系统获取图像序列，对目标周围的区域以平行于坐标轴的方式进行裁剪，作为模板图像Z；

步骤3：获取对比图像：对模板图像Z进行数据增强，得到对比图像A；

步骤4：获取搜索图像：在当前的视频序列中，选择与模板图像Z不同的视频帧，以平行于坐标轴的方式进行裁剪，其图像分辨率是模板图像Z的2倍大小，作为搜索图像X；

步骤5：提取模板图像Z、对比图像A和搜索图像X的深度特征：以ResNet-50网络作为骨干网络，提取第三卷积层、第四卷积层和第五卷积层的输出，即conv3_i，conv4_i，conv5_i，i∈{Z,A,X}；

步骤6：计算空间依赖关系：将模板图像Z的深度特征和对比图像A的深度特征输入空间一致性模块，得到特征之间的空间依赖一致性损失；

步骤7：计算通道依赖关系：将模板图像Z的深度特征和对比图像A的深度特征输入通道一致性模块，得到特征之间的通道依赖一致性损失；

步骤8：计算语义依赖关系：将模板图像Z的深度特征和对比图像A的深度特征输入语义一致性模块，得到特征之间的语义依赖一致性损失；

步骤9：目标分类和边界框回归：计算模板图像Z的深度特征和搜索图像X的深度特征之间的互相关，并作为分类头和回归头的输入，得到分类损失和回归损失；

步骤10：联合空间依赖一致性损失、通道依赖一致性损失、语义依赖一致性损失、分类损失和回归损失，结合反向传播算法，训练多头对比网络的权重；

步骤11：当训练收敛后，进入推理阶段；对于新的视频序列，提取目标的模板图像，并且以前一帧的跟踪结果，提取当前帧的搜索图像；

步骤12：以步骤10得到多头对比网络提取模板图像和搜索图像的深度特征；

步骤13：计算模板图像的深度特征和搜索图像的深度特征之间的互相关，并作为分类头和回归头的输入，依照分类与回归结果得到当前搜索图像中的目标所在的位置与目标框，即为当前帧的跟踪结果；

步骤14：当输入新的一帧视频序列后，转到步骤11继续执行，直到跟踪结束。

2.根据权利要求1所述基于多头对比网络的目标跟踪方法，其特征在于，所述步骤2的具体步骤如下：

2a)，计算模板图像中目标边界框的高H和宽W的平均值：

avg_hw＝(H+W)/2

2b)，计算尺度变化因子s：

s(W+avg_hw)×s(H+avg_hw)＝O²

其中O表示模板图像的边长；

2c)，按照尺度变化因子倍数对目标边界框进行放缩，以平行于坐标轴的方式，裁剪视频帧，提取模板图像Z。

3.根据权利要求1所述基于多头对比网络的目标跟踪方法，其特征在于，所述步骤3数据增强是在在模板图像Z的基础上，进行旋转变换、对比度变换或缩放变换。