[发明专利]目标跟踪方法、装置、电子设备及存储介质

说明书

本申请公开了一种目标跟踪方法、装置、电子设备及存储介质，包括：获取待检测视频序列并确定示例图像和搜索图像；将示例图像和搜索图像分别输入训练好的特征提取网络进行处理，得到第一特征图集和第二特征图集；将第一特征图集和第二特征图集输入训练好的孪生互注意力模块进行处理，得到强化后的第二特征图集；根据第一特征图集和强化后的第二特征图集，得到回归特征；根据回归特征进行锚框回归，得到待检测目标在搜索图像中的位置，进而确定待检测目标在待检测视频序列中的位置。本申请通过孪生互注意力模块进行特征强化，将待检测目标的信息施加到提取的特征上，使强化后的第二特征图集的适应性更强，实现了稳健、高效、准确的目标跟踪。

技术领域

本申请实施例涉及计算机视觉领域，特别涉及一种目标跟踪方法、装置、电子设备及存储介质。

背景技术

随着各种高质量数据集的出现和机器学习与深度学习的研究发展，涌现了大量优秀的目标跟踪算法，人工智能与计算机视觉领域内的诸多应用也因此得以落地实现。基于无人机等航空跟踪平台已经从理论研究阶段逐步发展到实际应用阶段，核心技术更迭愈来愈快，成为未来主要的航空遥感技术之一。

相关技术中，对于挑战场景的目标跟踪仍难以实现精准定位。例如，在航拍跟踪平台应用中，由于空中航拍场景下的目标尺度变化大、拍摄设备快速移动、光照变化剧烈等，相关技术中的目标跟踪方法难以对目标实现精准定位。

发明内容

本申请实施例旨在至少解决现有技术中存在的技术问题之一。为此，本申请实施例提供一种目标跟踪方法、装置、电子设备及存储介质，在面临许多挑战场景的时候都能具有很好的鲁棒性，实现了稳健、高效、准确的目标跟踪。

第一方面，本申请实施例提供一种目标跟踪方法，包括：

获取待检测视频序列；

从所述待检测视频序列的第一帧图像中提取包含待检测目标的局部图像作为示例图像，并从待检测视频序列的第一帧图像中提取包含待检测目标的局部图像作为示例图像，将待检测视频序列的后续帧图像作为搜索图像；

将所述示例图像和所述搜索图像分别输入训练好的特征提取网络进行处理，得到第一特征图集和第二特征图集，其中，所述第一特征图集为所述示例图像对应的特征图的集合，所述第二特征图集为所述搜索图像对应的特征图的集合；

将所述第一特征图集和所述第二特征图集输入训练好的孪生互注意力模块进行处理，得到强化后的所述第二特征图集；

计算所述第一特征图集和强化后的所述第二特征图集的相似度特征图集，并根据所述相似度特征图集得到回归特征；

根据所述回归特征对所述搜索图像进行锚框回归，得到所述待检测目标在所述搜索图像中的位置，进而确定所述待检测目标在所述待检测视频序列中的位置。

根据本申请实施例第一方面提供的目标跟踪方法，至少具有如下有益效果：通过特征提取网络对示例图像和搜索图像进行特征提取，并通过孪生互注意力模块对搜索图像对应的第二特征图集进行特征强化，使得待检测目标的特征信息施加到第二特征图集上，根据第一特征图集和强化后的第二特征图集，计算回归特征，并进行锚框回归，实现对待检测目标的跟踪，本申请通过孪生互注意力模块进行特征强化，将待检测目标的特征信息施加到提取的特征之上，使得强化后的第二特征图集的适应性更强，能够适用于目标尺度变化大、拍摄设备快速移动、光照变化剧烈等场景，实现了稳健、高效、准确的目标跟踪。

根据本申请实施例第一方面的一些实施例，所述特征提取网络为总步幅可调整的深度残差网络，所述深度残差网络的总步幅的调整方法包括：

当所述深度残差网络的输入图像的尺寸为N*N时，将所述深度残差网络的总步幅调整为 (N/M)*(N/M)，使得所述深度残差网络的输出图像的尺寸为M*M。