[发明专利]基于多头对比网络的目标跟踪方法

说明书

本发明涉及一种基于多头对比网络的目标跟踪方法，包括构建多头对比网络；获取模板图像；获取对比图像；获取搜索图像；提取图像的深度特征；计算空间依赖关系；计算通道依赖关系；计算语义依赖关系；目标分类和边界框回归；多损失联合训练；分类头和回归头。本发明通过构建多头对比网络，它对骨干网络中的每个卷积层构建一个单独的嵌入空间，学习同一目标不同外观的特征表示的不变性；提出了全局上下文一致性损失，不仅仅保持语义信息上的一致性，也在特征表示的空间关系和通道关系上保持一致性，进一步增强了特征表示的能力，显著的提升了跟踪方法的性能。

技术领域

本发明属于目标跟踪技术领域，特别涉及一种基于多头对比网络的目标跟踪方法，可应用于光学图像中单个物体的目标跟踪。

背景技术

目标跟踪通过在视频的第一帧中给定目标的位置和边界框的大小，在后续的序列中持续的定位目标，是计算机视觉领域的一项重要任务。伴随着相关滤波技术和深度学习技术的迅速发展，光学图像场景下的目标跟踪取得了显著的进步。但是局部遮挡、目标形变、背景杂乱、光照变化等因素往往严重的损害了跟踪目标的能力。

基于相关滤波的跟踪方法借助循环矩阵的特征，结合傅里叶变换技术，对视频第一帧中给定的目标进行密集采样。通过最小化L₂范数损失，在线训练相关滤波器的权重，在后续的视频帧中预测目标的位置。该方法虽然取得了较好的跟踪结果，但是仍然存在特征提取模型和相关滤波器需要分开训练的问题，不能充分的挖掘大规模数据集中样本间的依赖关系。此外，由于该方法需要在线更新滤波器的权重，无法满足实时跟踪的需求，限制了目标跟踪的应用场景。

基于深度孪生网络的目标跟踪方法由于其很好的平衡了跟踪的准确度和速度得到了极大的关注。这些目标跟踪方法通过深度孪生网络以端到端的方式离线学习相似性映射，避免在线更新跟踪模型的权重，保证了跟踪的效率。但是，基于深度孪生网络的目标跟踪方法首先提取目标模板的深度特征和搜索区域的深度特征，然后计算模板图像特征和搜索区域特征之间的相似性映射，其目的是区分搜索区域内的目标和背景，忽略了同一目标不同外观间的深度特征表示的相似性，降低目标跟踪的性能。

虽然基于相关滤波和深度学习的跟踪方法取得了优秀的跟踪性能，但是这些方法都难以统一同一目标不同外观间的深度特征表示。

发明内容

为了解决上述现有的基于相关滤波和深度学习的目标跟踪方法中存在的问题，本发明的目的在于提供一种基于多头对比网络的目标跟踪方法，该方法主要关注同一目标不同外观表示的深度特征表示的学习过程，主要由训练样本的数据增强、运动目标的特征提取、全局一致性损失三部分构成。本发明充分利用数据增强技术，构建同一目标的不同外观表示，结合对比学习技术，构建了多头对比学习网络，既能够有效的处理光照变化、目标形变等干扰因素，实现对目标进行准确鲁棒的跟踪，又显著的提升跟踪效率，满足实时跟踪的需求。

为了实现上述目的，本发明采用的技术方案是：

一种基于多头对比网络的目标跟踪方法，包括如下步骤：

步骤1：构建MCTrack多头对比网络结构：引入多头对比架构和全局一致性学习机制，所述多头对比架构通过在ResNet-50网络的基础上，对每个卷积层增加单独的对比学习模型实现，所述对比学习模型包含一个参数共享的对比孪生网络、一个映射头和一个预测头；所述对比孪生网络包括模板分支和对比分支，所述全局一致性学习机制由空间一致性模块、通道一致性模块和语义一致性模块组成；

步骤2：获取模板图像：利用光学摄影系统获取图像序列，对目标周围的区域以平行于坐标轴的方式进行裁剪，作为模板图像Z；

步骤3：获取对比图像：对模板图像Z进行数据增强，得到对比图像A；

步骤4：获取搜索图像：在当前的视频序列中，选择与模板图像Z不同的视频帧，以平行于坐标轴的方式进行裁剪，其图像分辨率是模板图像Z的2倍大小，作为搜索图像X；