[发明专利]基于全连接注意力模块的孪生神经网络运动目标跟踪方法

权利要求书

1.基于全连接注意力模块的孪生神经网络运动目标跟踪方法，其特征在于：包括如下步骤，

步骤1：为了离线训练步骤2基于全连接注意力模块的孪生神经网络，利用目标跟踪图像序列数据集生成用于输入孪生神经网络的训练样本数据组；所述训练样本数据组包括第一帧模板区域Z₀和更新模板区域Z、搜索区域X；

步骤2：构建包含共享权重的第一帧模板分支、更新模板分支和搜索分支孪生神经网络，提取步骤1生成的训练样本数据组的特征，分别提取目标第一帧模板区域特征、更新模板区域特征和搜索区域特征；利用所述基于端到端训练的孪生神经网络，在经过大量数据训练后，能够实现输入视频序列后直接得到每一帧图片的跟踪结果，无需对输出的特征图进行再处理，进而提升跟踪效率；

步骤3：构建全连接注意力模块；利用全连接注意力模块对步骤2生成的第一帧模板区域特征、更新模板区域特征和搜索区域特征进行处理，生成强化后的模板特征和搜索特征，实现模板特征的自注意和互注意，进而提升鲁棒性；

步骤4：利用互相关操作将强化后的模板特征和搜索特征融合，生成融合模板特征和搜索特征的响应图；

步骤5：根据步骤4生成的响应图，经卷积层处理得到分类图和回归图，利用分类图预测目标在响应图上的前景或背景分类概率估计，利用回归图预测目标在响应图上的边界框偏移回归估计；经过叠加偏移和尺寸变换操作得到搜索图片中目标的位置和尺寸；

步骤6：每固定间隔帧数判断网络预测的各结果的跟踪准确性，将与模板相似性最高的结果作为该帧图片跟踪预测结果，利用该结果对该帧图片进行裁剪，作为步骤2中更新模板分支的输入，进行模板更新，丰富模板信息，以进一步提升跟踪精度；

步骤7：重复步骤2至步骤6，在利用端到端训练的孪生神经网络提取图片特征后，利用全连接注意力模块将模板特征与搜索特征相融合，能够更加关注目标特征信息，提升鲁棒性；每固定帧更新模板特征，丰富网络对目标随时间变化信息的学习，进一步提升跟踪精度。

2.如权利要求1所述的基于全连接注意力模块的孪生神经网络运动目标跟踪方法，其特征在于：步骤1实现方法为，

为了离线训练步骤2基于全连接注意力模块的孪生神经网络，根据目标跟踪图片序列中第一帧图像的目标位置及尺寸，将第一帧图像裁剪为包含目标模板特征的模板区域，该模板区域同时作为第一帧模板区域Z₀和更新模板区域Z；第二帧图像作为搜索图片，根据第一帧目标位置信息和尺寸信息，将搜索图片裁剪为包含目标的搜索区域X，后续第t帧搜索图片根据第t-1帧网络预测的目标位置信息和尺寸信息裁剪为包含目标的搜索区域X；所述第一帧模板区域Z₀、更新模板区域Z和搜索区域X三个区域形成训练样本数据组，分别作为孪生神经网络第一帧模板分支、更新模板分支和搜索分支的输入。

3.如权利要求2所述的基于全连接注意力模块的孪生神经网络运动目标跟踪方法，其特征在于：步骤2实现方法为，

构建包含第一帧模板分支、更新模板分支和搜索分支孪生神经网络，提取步骤1生成的训练样本数据组的特征；上述三分支共享权重，分别提取目标第一帧模板区域特征、更新模板区域特征和搜索区域特征；更新模板分支用于步骤6所述更新模板的特征提取，其结构与第一帧模板分支网络结构相同；利用所述基于端到端训练的孪生神经网络，在经过大量数据训练后，能够实现输入视频序列后直接得到每一帧图片的跟踪结果，无需对输出的特征图进行再处理，进而提升跟踪效率。