[发明专利]基于对比学习的孪生网络目标跟踪方法

权利要求书

1.一种基于对比学习的孪生网络目标跟踪方法，其特征在于，其利用表征模块、相似度计算模块、对比监督模块来实现；

所述的表征模块，通过前向计算提取目标模板和搜索图像块的深度特征，目标模板和搜索图像块的深度特征用于目标模板和搜索图像块中候选样本相似度计算；表征模块通过修改的标准ResNet-50神经网络来实现，其对标准ResNet-50神经网络去掉平均池化层和全连接层，修改conv4_x和conv5_x中的步长为1,同时在最后增加一个卷积层以降低特征通道数，当输入目标模板和搜索图像块时，所述的修改的标准ResNet-50神经网络通过前向计算输入目标模板和搜索图像块的深度特征；

所述的相似度计算模块，利用目标模板和搜索图像块的深度特征，计算目标模板与搜索图像块中所有的候选样本之间的相似度，相似度的计算公式为：

R＝X*S，

其中X是目标模板的深度特征，S是搜索图像块的深度特征，*为卷积操作，R是二维响应图，其中的每个值表示搜索图像块中对应位置候选样本与目标模板的相似度值；

所述的对比监督模块，根据相似度计算模块计算得到的相似度值和真实目标位置信息，计算损失函数，产生反馈信息，进而反向传播调节网络参数；对比监督模块利用候选样本与目标模板之间的对比，约束目标候选样本与目标模板的相似度值最大，即使得取最大值，对表征模块的修改的标准ResNet-50神经网络参数进行调节，约束目标候选样本与目标模板的相似度值最大时对应的神经网络参数为最优参数，其中，r₊∈R表示目标候选样本与目标模板的相似度值，表示第i个背景候选样本与目标模板的相似度值，τ是超参数；

该方法具体步骤包括：

在训练阶段，在同一视频序列不同帧图像中均裁剪目标模板和搜索图像块，搜索图像块包含目标并且搜索图像块的尺寸大于目标模板的尺寸；

将目标模板和搜索图像块分别输入对应的表征模块，表征模块提取目标模板和搜索图像块的深度特征；

将目标模板和搜索图像块的深度特征输入到相似度计算模块，相似度计算模块计算目标模板和搜索图像块中所有的候选样本之间的相似度值；

将相似度计算模块计算得到的相似度值和搜索图像块中的真实目标位置信息输入到对比监督模块；对比监督模块选择对应真实目标位置信息的候选样本为目标候选样本，进而计算候选样本与目标模板之间的对比损失函数；以最小化对比损失函数为目标，计算梯度值，通过反向传播调节网络参数；

在推理阶段，以当前帧图像的上一帧图像的目标几何中心为中心，剪裁搜索图像块，根据第一帧图像中的目标位置裁剪目标模板；同时将目标模板和搜索图像块输入表征模块，表征模块产生相应的深度特征；将目标模板和搜索图像块的深度特征输入相似度计算模块；相似度计算模块分别计算目标模板和搜索图像块中的所有候选样本之间的相似度，相似度最大值对应的候选样本即为检测得到的目标，此候选样本所在的位置即为目标的所在位置；

利用两个表征模块分别对目标模板和搜索图像块进行深度特征提取，一个表征模块用来提取目标模板的深度特征，另一个表征模块用来提取搜索图像块的深度特征，这两个表征模块共享网络参数，从而构成孪生网络。

2.如权利要求1所述的基于对比学习的孪生网络目标跟踪方法，其特征在于，所述的修改的标准ResNet-50神经网络由conv1、conv2_x、conv3_x、conv4_x、conv5_x和conv6串联而成；conv1包含1个[7×7,64]卷积层，[7×7,64]表示卷积层的卷积核的长和宽均为7，卷积层的通道数为64；conv2_x由一个池化层和3个拥有卷积层的模块串联而成，conv2_x的模块由1个[1×1,64]卷积层、1个[3×3,64]卷积层和1个[1×1,256]卷积层串联而成；conv3_x由4个模块串联而成，conv3_x的模块由1个[1×1,128]卷积层、1个[3×3,128]卷积层和1个[1×1,512]卷积层串联而成；conv4_x由6个模块串联而成，conv4_x的模块由1个[1×1,256]卷积层、1个[3×3,256]卷积层和1个[1×1,1024]卷积层串联而成；conv5_x由3个模块串联而成，conv5_x的模块由1个[1×1,512]卷积层、1个[3×3,512]卷积层和1个[1×1,2048]卷积层串联而成；conv6包含1个[1×1,256]卷积层。