[发明专利]基于对比学习的孪生网络目标跟踪方法

说明书

本发明提出了一种基于对比学习的孪生网络目标跟踪方法，其利用表征模块、相似度计算模块、对比监督模块来实现；本方法提取目标模板和搜索图像块的特征表示，进而计算目标模板与搜索图像块中所有候选样本之间的相似度。根据相似度值和真实目标的位置信息，最小化目标候选样本和其他候选样本之间的对比损失，通过反向传播调节网络参数。不同于现有的跟踪方法分配同一人为设定的标签给不同的背景样本和最小化候选样本与人为设定的标签之间的误差，本方法利用样本之间内在相似度关系，促使学习到的跟踪模型不但能够区分不同类别的实例，而且还能够区别同类别不相同的实例。

技术领域

本发明涉及计算机视觉领域，尤其涉及基于对比学习的孪生网络目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域中一个关键的课题，是视频分析系统中的重要组成部分。目标跟踪技术广泛应用于自动驾驶、公共安全、人机交互、交通控制、计算机辅助医疗等领域。这些应用的实际效果依赖于其所采用的目标跟踪技术。

根据数据集中仅给出的目标位置信息，现有的目标跟踪方法通过分配特定的标签给目标样本，同时分配同一标签给其余的背景样本，构建跟踪模型。例如，现有的跟踪方法把目标样本标记为正类、背景样本标记为负类，把目标跟踪问题建模成二分类问题；还有的跟踪方法设定一个高斯响应分布，把跟踪问题建模成回归问题，回归样本集到一个高斯响应分布，其中目标样本对应高斯响应的波峰。由此可以看出，在现有方法中，不同的背景样本共享同一标签。然而，在实际应用中，背景样本并不都是同类型的，某些背景样本不包含任何物体，某些背景样本可能是与目标相似的干扰物。由于非物体背景样本在背景样本中占比非常大，如果非物体背景样本和与目标相似的背景样本共享同一标签，会导致跟踪器拟合众多非物体背景样本，从而使得学习得到的跟踪器不能很好地区分目标和相似干扰物，影响了目标跟踪效果。在测试时，跟踪器容易混淆目标和与之相似的背景样本，造成跟踪失败。

发明内容

针对现有的计算机视觉目标跟踪方法中，其对非物体背景样本和与目标相似的背景样本共享同一标签影响目标跟踪效果的问题，本发明借助样本之间内在相似度关系，促使学习到的跟踪模型能够区分不同类别的实例，同时能够区分同类别不相同的实例。

为实现上述目的，本发明采取的技术方案为：

本发明公开了基于对比学习的孪生网络目标跟踪方法，其利用表征模块、相似度计算模块、对比监督模块来实现。

所述的表征模块，通过前向计算提取目标模板和搜索图像块的深度特征，目标模板和搜索图像块的深度特征用于目标模板和搜索图像块中候选样本相似度计算。表征模块通过修改的标准ResNet-50神经网络来实现，其对标准ResNet-50神经网络去掉平均池化层和全连接层，修改conv4_x和conv5_x中的步长为1,同时在最后增加一个卷积层以降低特征通道数，修改的标准ResNet-50神经网络由conv1、conv2_x、conv3_x、conv4_x、conv5_x和conv6串联而成。conv1包含1个[7×7,64]卷积层，[7×7,64]表示卷积层的卷积核的长和宽均为7，卷积层的通道数为64；conv2_x由一个池化层和3个拥有卷积层的block串联而成，conv2_x的block由1个[1×1,64]卷积层、1个[3×3,64]卷积层和1个[1×1,256]卷积层串联而成；conv3_x由4个block串联而成，conv3_x的block由1个[1×1,128]卷积层、1个[3×3,128]卷积层和1个[1×1,512]卷积层串联而成；conv4_x由6个block，1个[1×1,256]卷积层、1个[3×3,256]卷积层和1个[1×1,1024]卷积层串联而成；conv5_x由3个block，1个[1×1,512]卷积层、1个[3×3,512]卷积层和1个[1×1,2048]卷积层串联而成；conv6包含1个[1×1,256]卷积层。当输入目标模板和搜索图像块时，所述的修改的标准ResNet-50神经网络通过前向计算输入目标模板和搜索图像块的深度特征。