[发明专利]一种层级孪生网络的实时目标跟踪方法

权利要求书

1.一种层级孪生网络的实时目标跟踪方法，其特征在于：包括以下步骤：

S1：将视频帧序列的模板图像和搜索图像利用孪生子网络进行特征提取；

在视频序列的初始帧中以目标物体为中心裁剪出模板帧图像z，并在当前帧中裁剪出搜索帧图像x，将模板帧图像和搜索帧图像分别送入到孪生子网络中的模板分支和搜索分支进行特征提取；

S2：构建融合多级层次特征的金字塔特征融合模块

利用步骤1中的孪生子网络，提取卷积三、四和五层的特征用于金字塔特征融合模块，从而构建了拥有不同层次信息的特征金字塔，三四五层卷积特征首先使用1×1的卷积操作降低通道数，得到处理后的特征φ₃(x)，φ₄(x)和φ₅(x)以及φ₃(z)，φ₄(z)和φ₅(z)，然后将处理后的特征通过自顶向下的方式与相应的浅层特征进行逐元素相加，最后利用3×3的卷积操作平滑融合后的不同层特征并学习语义相关性，通过逐级融合多级层次特征的金字塔特征融合模块，可分别得到卷积三四五层的融合特征图，以构建更具有区分性的目标表示；

S3：构建层级位置感知预测模块

位置感知预测模块包括多个位置感知预测头，每个位置感知预测头包括两个子任务，一个是将目标从背景中分类出来的分类分支，另一个是提供目标框回归的回归分支；

对于单个位置感知预测头，将步骤S2中由金字塔特征融合模块获得的搜索图像x和模板图像z的三四五层融合特征Φ_s(x)和Φ_s(z)，复制为[φ_s(x)]_cls，[φ_s(z)]_cls，以及[Φ_s(x)]_reg，[Φ_s(z)]_reg到分类分支和回归分支；然后计算分类特征图和回归特征图其中★代表互相关操作，[Φ_s(x)]_cls、[Φ_s(z)]_cls分别代表搜索帧图像x和模板帧图像z得到的融合特征复制后的，用于分类分支的特征图，[Φ_s(x)]_reg，[Φ_s(z)]_reg分别代表由金字塔特征融合模块获得的搜索帧图像x和模板帧图像z的三四五层融合特征Φ_s(x)和Φ_s(z)，复制的，用于回归分支的特征图；分别代表分类特征图和回归特征图；

由于单级预测头在面对相似干扰或者较大目标变化时可能导致跟踪性能退化，因此使用多级预测头构成位置感知预测模块以依次细化目标位置和变化，由此可得到位置感知预测模块的分类分支和回归分支的特征图，和其中w^cls和w^reg分别代表分类分支和回归分支中每个预测头的权重；

S4：模型训练与在线跟踪

在模型训练中，使用大型数据集进行端到端训练，集中裁剪模板图像和搜索图像训练对，以训练层级孪生网络，训练时采用随机梯度下降方法优化网络参数，并逐渐减少所提的层级孪生网络的整体损失，直到模型的性能不再提升；

在在线跟踪中，给定待跟踪的视频序列，按照步骤1的方式获取模板帧图像并通过孪生子网络提取模板特征，在随后的序列帧中，根据前一帧的跟踪结果提取搜索帧特征，获取到模板帧和搜索帧图像特征后送入到金字塔特征融合模块分别获得融合后的低层、中层和高层特征，将获取到的融合特征分别对应输入到层级位置感知预测模块的三个位置感知预测头中，得到三个分类特征图和三个回归特征图；将三个分类特征图和三个回归特征图分别进行加权融合，得到融合后的分类结果和回归结果，由此得到当前帧的目标结果。

2.根据权利要求1所述的一种层级孪生网络的实时目标跟踪方法，其特征在于：所述步骤S1中，模板帧图像z大小为127×127×3，搜索帧图像x大小为255×255×3。