[发明专利]一种基于阶段性持续学习的可伸缩单流追踪方法

说明书

本发明涉及视觉目标追踪技术领域，特别是指一种基于阶段性持续学习的可伸缩单流追踪方法。一种基于阶段性持续学习的可伸缩单流追踪方法包括：获取搜索图像以及模板图像，对搜索图像以及模板图像进行处理，获得输入图像；将输入图像进行特征向量化处理，获得向量化特征；基于向量化特征，通过交互窗口自注意力模块以及动态混合注意力模块，获得目标图像特征；根据目标图像特征，通过分类头以及回归头，获得输出图像；根据输出图像，在目标时序运动中进行目标追踪。本发明是一种基于阶段间持续学习具备优秀前后景区分能力的追踪方法。

技术领域

本发明涉及视觉目标追踪技术领域，特别是指一种基于阶段性持续学习的可伸缩单流追踪方法及装置。

背景技术

视觉跟踪是计算机视觉领域的一个基础性研究课题。近些年，视觉跟踪算法结合如今的人工智能热潮，如神经网络和相关滤波器等方法，并取得了更加鲁棒、精确、稳定的追踪结果。目标追踪是以视觉为主导的任务中一个经典的研究方向，要求在连续的视频帧序列中依靠算法根据被追踪物体的第一帧位置信息，预测得到追踪物体在未来视频帧中的位置信息。单目标跟踪领域内更多地侧重解决一个类别不可知的单一目标物体的追踪问题，对于从未在训练集中出现过的目标也可以通过追踪器持续地进行跟踪。针对运动中的目标进行跟踪是一项极具挑战性的任务，因为对处于运动中的目标来说，其本身在不断变化，所在场景也十分复杂且时常发生变化。因此，在复杂多样的场景中准确跟踪不断变化的目标成为研究人员所面对的挑战。目前基于transformer的跟踪算法通常分为两种类型:两流结构和单流结构，标准的两流结构意味着整个过程包括两个连续的步骤：特征提取和关系建模。单流结构的管道组合特性，可以将特征抽取和关系建模整合到一个统一的框架中，结构简洁，性能优越。

但现有的单流跟踪器缺乏区分前景和背景的能力，导致对对象的特征提取不敏感，这在跟踪任务中仍然至关重要。存在的主要问题在于：矩阵维度固定，前后景区分能力差；特征提取与特征交互同时进行，缺乏阶段性学习能力。目前常见的单流跟踪框架大多是直接将模板和搜索图像拼接起来，输入到transformer的结构网络中进行特征提取和信息交互。由于直接使用自注意力或交叉注意力操作，结构单一，目标难以区分。更严重的是，目标信息和上下文线索的转移很容易导致灾难性遗忘，导致特征提取和信息交互的丧失。

在现有技术中，缺乏一种基于阶段间持续学习具备优秀前后景区分能力的追踪方法。

发明内容

本发明实施例提供了一种基于阶段性持续学习的可伸缩单流追踪方法及装置。所述技术方案如下：

一方面，提供了一种基于阶段性持续学习的可伸缩单流追踪方法，该方法由电子设备实现，该方法包括：

S1、获取搜索图像以及模板图像，对所述搜索图像以及模板图像进行处理，获得输入图像；

S2、将所述输入图像进行特征向量化处理，获得向量化特征；

S3、基于所述向量化特征，通过交互窗口自注意力模块以及动态混合注意力模块，获得目标图像特征；

S4、根据所述目标图像特征，通过分类头以及回归头，获得输出图像；

S5、根据所述输出图像，在目标时序运动中进行目标追踪。

其中，所述模板图像包括固定模板以及动态模板。

可选地，所述将所述输入图像进行特征向量化处理，获得向量化特征，包括：

对所述输入图像进行分块处理，获得小块输入图像；

将所述小块输入图像进行向量化处理，获得小块向量化特征；

将所述小块向量化特征进行拼接，获得向量化特征。

可选地，所述基于所述向量化特征，通过交互窗口自注意力模块以及动态混合注意力模块，获得目标图像特征，包括：