[发明专利]基于全连接注意力模块的孪生神经网络运动目标跟踪方法

说明书

本发明公开的基于全连接注意力模块的孪生神经网络运动目标跟踪方法，属于计算机视觉跟踪技术领域。本发明在利用孪生神经网络提取图片特征后，利用全连接注意力模块对模板分支提取的模板特征处理，该模板特征融合原模板特征后作为注意力加强的模板特征与进行相同操作的更新模板特征相结合，得到的新模板特征与搜索特征融合，实现模板特征的自注意和互注意，提升鲁棒性；根据融合加强模板特征和搜索特征的响应图，得到对应搜索图中目标的位置信息和尺寸偏移信息；根据每固定帧的网络预测结果对更新模板分支的输入进行更新，提升跟踪精度。本发明在目标发生剧烈形变、短暂消失后重现或遮挡等条件下，仍然能持续稳定地实现目标跟踪。

技术领域

本发明涉及一种图像序列中运动目标的跟踪方法，属于计算机视觉跟踪技术领域。

背景技术

运动目标跟踪技术是计算机视觉科学中重要的研究方向之一，在视频监控、人机交互、智能航行等领域有着广泛的应用。该技术是指在给出视频序列第一帧中的目标边界框后，能够预测后续帧中目标的位置。目前，运动目标跟踪技术主存在的主要问题有光照变化、目标发生遮挡、形状变化、尺寸变化和快速运动等复杂干扰因素的影响，使能够实时跟踪并鲁棒精确的目标跟踪方法难以实现。

近年来，深度学习在计算机视觉领域取得了巨大的成功，基于端到端深度学习训练的优势，研究者提出了多种基于深度学习的目标跟踪算法，使得单目标跟踪算法的精度和速度都取得了极大的提升，其中具有代表性的是孪生神经网络跟踪算法。孪生神经网络因其特性，在经过大量的离线训练后能够学习到不同帧中相同物体的相似性。在线跟踪时，根据第一帧中目标边界框生成的图像区域作为模板，输入网络提取模板特征，用于与后续帧裁剪出的搜索图像区域提取的搜索特征进行相似性匹配，将相似度得分最高的位置作为预测的目标位置。该类方法相较传统的相关滤波跟踪方法，跟踪精度和跟踪速度均有较大提升，是目前运动目标跟踪技术最具代表性的算法框架之一。但同时，孪生神经网络框架的目标跟踪算法仍存在问题，目前较为成熟的SiamFC、SiamRPN、SiamBAN等算法均仅由第一帧获得目标模板，在目标快速移动、被干扰物遮挡、姿势变化等干扰下跟踪器鲁棒性相对较低。仅依靠单帧目标特征作为模板不能让网络适应发生剧烈变化的目标，因此需要模板更新，丰富模板特征，同时通过注意模块让网络提取特征图集中于目标本身，增强模板特征的作用。

发明内容

本发明公开的基于全连接注意力模块的孪生神经网络运动目标跟踪方法目的是：采用基于端到端训练的孪生神经网络，在离线训练后能够实现速度更快的运动目标跟踪；在利用孪生神经网络提取图片特征后，利用全连接注意力模块将模板特征与搜索特征相融合，能够更加关注目标特征信息，提升鲁棒性，即在目标发生剧烈形变、短暂消失后重现或遮挡等条件下，仍然能持续稳定地实现目标跟踪。

本发明的目的是通过下述技术方案实现的：

本发明公开的基于全连接注意力模块的孪生神经网络运动目标跟踪方法，在利用孪生神经网络提取图片特征后，利用全连接注意力模块对模板分支提取的模板特征进行处理，该模板特征融合原模板特征后作为注意力加强的模板特征与进行相同操作的更新模板特征相结合，得到的新模板特征与搜索特征融合，实现模板特征的自注意和互注意，提升鲁棒性。根据融合加强模板特征和搜索特征的响应图，得到对应搜索图中目标的位置信息和尺寸偏移信息。根据每固定帧的网络预测结果对更新模板分支的输入进行更新，提升跟踪精度。

本发明公开的基于全连接注意力模块的孪生神经网络运动目标跟踪方法，包括如下步骤：

步骤1：为了离线训练步骤2基于全连接注意力模块的孪生神经网络，利用目标跟踪图像序列数据集生成用于输入孪生神经网络的训练样本数据组。所述训练样本数据组包括第一帧模板区域Z₀和更新模板区域Z、搜索区域X。