[发明专利]基于Transformer的在线更新目标跟踪方法及系统

说明书

本发明属于目标跟踪领域，提供了基于Transformer的在线更新目标跟踪方法及系统，该方法包括采用权重共享的Twi ns作为骨干网络对模板图像和搜索图像进行特征提取得到模板图像特征和搜索图像特征；引入在线更新模块，将置信度超过阈值模板作为更新模板，其对应的特征作为更新模板特征,并将更新模板特征与模板图像特征进行互补，得到融合模板图像特征；基于编码器和解码器，分别将模板图像特征、更新模板特征和融合模板图像特征分别和搜索图像特征进行融合，得到对应的融合特征图；采用多模板策略将对应的融合特征图映射至预测头，同时得到对应分支的预测分数，将预测分数最高的分支对应的边界框作为跟踪边框进行目标跟踪。

技术领域

本发明属于目标跟踪技术领域，尤其涉及基于Transformer的在线更新目标跟踪方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

目前基于Transformer的跟踪器大多将CNN作为特征提取的基本组件来完成跟踪任务，常常忽略了Transformer的提取特征能力。

在现有的跟踪器中，采用Transformer替代常用的ResNet-50作为骨干网络。然而将Transformer作为骨干网络应用到跟踪任务中造成的突出问题是Transformer的注意力机制会增加计算复杂度。为了降低计算复杂度，Swin Transformer采用了LSA(locally-grouped self-attention局部分组注意力)，这种方法的缺点是会导致感受野受限，虽然采用滑动窗口可以缓解这个问题，但会造成滑动窗口大小不均匀，影响特征提取的效果。PVT使用GSA(global sub-sampled attention全局子采样注意力)来降低计算复杂度，但计算复杂度仍然为二次方。

如果仅学习第一帧模板特征，在后续帧的跟踪过程中，遮挡、形变、复杂背景等因素会导致跟踪器很难适应目标特征发生严重变化的情况，从而造成跟踪失败。同时，由于模板更新累积也可能会造成目标漂移，导致跟踪失败。

发明内容

为了解决上述背景技术中存在的至少一项技术问题，本发明提供基于Transformer的在线更新目标跟踪方法及系统，其选用基于Transformer的Twins作为主干网络来提高特征抽取能力，同时增加了一个更新分支，采用在线更新策略来减少由于目标遮挡、形变和背景复杂导致的跟踪失败问题，通过融合网络对模板特征和更新特征进行融合互补，最后使用多模板策略防止由于更新累积导致的跟踪漂移问题。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于Transformer的在线更新目标跟踪方法，包括如下步骤：

获取模板图像和搜索图像；

采用权重共享的Twins作为骨干网络，利用三层金字塔结构对模板图像和搜索图像进行特征提取得到模板图像特征和搜索图像特征；

引入在线更新模块，将置信度超过阈值的模板作为更新模板，其对应的特征作为更新模板特征,并将更新模板特征与模板图像特征进行互补，得到融合模板图像特征；

基于编码器和解码器，分别将模板图像特征、更新模板特征和融合模板图像特征分别和搜索图像特征进行融合，得到对应的融合特征图；

采用多模板策略将对应的融合特征图映射至预测头，同时得到对应分支的预测分数，将预测分数最高的分支对应的边界框作为跟踪边框进行目标跟踪。

本发明的第二个方面提供基于Transformer的在线更新目标跟踪系统，包括：

数据获取模块，用于获取模板图像和搜索图像；

特征提取模块，用于采用权重共享的Twins作为骨干网络，利用三层金字塔结构对模板图像和搜索图像进行特征提取得到模板图像特征和搜索图像特征；