[发明专利]一种基于时空注意力机制的目标跟踪方法

说明书

本发明提供了一种基于时空注意力机制的目标跟踪方法，包括：构造网络模型，用于获取待跟踪目标的模板图像和待跟踪图像；构造通道注意力机制模型，将所述通道注意力机制模型融入网络模型中；构造空间注意力机制模型，将所述空间注意力机制模型融入网络模型中；依据损失函数，对融入所述通道注意力机制模型和空间注意力机制模型的网络模型进行训练；利用训练得到的网络模型，对视频中的目标进行跟踪，获得目标跟踪结果。相较于现有技术，本发明大大提升了跟踪性能，使得跟踪的目标遭受遮挡、形变、背景干扰等复杂环境时，仍然能够稳定地跟踪目标，同时有效地解决了跟踪过程中的目标漂移问题，为用户提供更加稳定的跟踪结果。

技术领域

本发明涉及电子信号侦测技术领域，尤其涉及一种基于时空注意力机制的目标跟踪方法。

背景技术

目标跟踪技术是计算机视觉领域的热点研究方向之一，在智能监控、人机交互、无人驾驶等诸多领域有着广泛的应用。目标跟踪指是在连续的视频序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹，通过给定图像第一帧的目标坐标位置，计算在之后序列图像中目标的位置和大小。目标跟踪技术的出现能够为行为理解、推理、决策等提供依据，是后续目标识别、行为分析、视频压缩编码和视频理解等高级视频处理任务的基础，是执行高层次智能行为的必要前提。尽管近年来目标跟踪技术取得了长足的进步，提出了许多高效算法来解决特定场景下的挑战性问题，但仍然存在如遮挡，照明变化、尺度变换、背景干扰等问题，因此目标跟踪技术的研究仍然是一项艰巨的任务。

在基于全卷积孪生网络的目标跟踪方法中，该方法通过模板匹配策略进行目标跟踪，特征判别力不足，在跟踪过程中仅仅使用第一帧图像的目标信息，导致目标在遭到形变，遮挡等挑战时性能下降。此外，孪生网络只保留第一帧图像特征，避免目标特征被污染，但是该方法无法捕捉到目标在后续帧的变化。因此，当目标发生较大形变时，目标真实位置对应的响应值得分可能会变低，增加了目标丢失的风险。

发明内容

发明目的：针对已有技术存在的不足，本发明的目的在于提供一种基于时空注意力机制的目标跟踪方法，用于实现一种视频目标跟踪的方法。

技术方案：本发明通过孪生网络架构来提高对特征的判别能力；然后，引入改进的通道注意力机制和空间注意力机制，对不同通道和空间位置的特征施加不同的权重，着重关注空间位置和通道位置上对目标跟踪有利的特征。此外，提出一种高效的目标模板在线更新机制，将第一帧图像特征与后续跟踪图像帧中置信度较高的图像特征进行融合。

本发明提供的一种基于时空注意力机制的目标跟踪方法，包括如下步骤：

步骤1，构造网络模型，用于获取待跟踪目标的模板图像和待跟踪图像；

步骤2，构造通道注意力机制模型，将所述通道注意力机制模型融入网络模型中；

步骤3，构造空间注意力机制模型，将所述空间注意力机制模型融入网络模型中；

步骤4，依据损失函数，对融入所述通道注意力机制模型和空间注意力机制模型的网络模型进行训练；

步骤5，利用训练得到的网络模型，对视频中的目标进行跟踪，获得目标跟踪结果。

进一步地，在一种实现方式中，所述网络模型包括模板分支和搜索分支；所述模板分支用于获得模板图像，作为待跟踪目标的第一帧，所述模板图像通过初始化获得，即将第一帧的图像初始化为模板图像；所述搜索分支用于接收跟踪过程中的搜索图像，所述搜索图像即待跟踪目标在跟踪视频中的当前帧；将所述模板分支接收的第一帧的模板图像记为z，所述搜索分支接收的当前帧的搜索图像记为x，特征提取网络记为

进一步地，在一种实现方式中，所述步骤2包括：