[发明专利]目标跟踪网络训练、跟踪方法及装置、电子设备及介质

说明书

本申请实施例公开了一种目标跟踪网络的训练、目标跟踪方法及装置、电子设备及存储介质。所述目标跟踪网络的训练新方法，包括：利用所述目标跟踪网络中的孪生网络的第一分支对模板图像提取特征得到第一特征图，并利用所述孪生网络的第二分支对样本图像提取特征得到第二特征图；其中，所述模板图像为包含了所述样本图像中要跟踪的目标的图像；利用所述目标跟踪网络中的分类网络确定所述第一特征图和所述第二特征图之间的相似度；基于所述第一特征图和所述第二特征图之间的相似度，确定第一损失值；根据所述第一损失值调整所述目标跟踪网络的网络参数。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种目标跟踪网络的训练方法及装置、目标跟踪方法及装置、电子设备及存储介质。

背景技术

目标追踪的过程中，会采集视频，然后对视频的视频帧进行逐帧处理，追踪视频中的目标。

现有技术中提供多种进行目标追踪的方法，但是在一些情况下依然会跟丢目标，导致跟踪成功率低的问题。

发明内容

有鉴于此，本发明实施例期望提供一种目标跟踪网络的训练方法及装置、目标跟踪方法及装置、电子设备及存储介质。

本发明的技术方案是这样实现的：

本申请实施例第一方面提供一种目标跟踪网络的训练方法，其特征在于，包括：

利用所述目标跟踪网络中的孪生网络的第一分支对模板图像提取特征得到第一特征图，并利用所述孪生网络的第二分支对样本图像提取特征得到第二特征图；其中，所述模板图像为包含了所述样本图像中要跟踪的目标的图像；

利用所述目标跟踪网络中的分类网络确定所述第一特征图和所述第二特征图之间的相似度；

基于所述第一特征图和所述第二特征图之间的相似度，确定第一损失值；

根据所述第一损失值调整所述目标跟踪网络的网络参数。

基于上述方案，所述第一特征图包括：所述模板图像中目标的第一特征图，和所述模板图像中背景的第一特征图；

所述利用所述目标跟踪网络中的分类网络确定所述第一特征图和所述第二特征图之间的相似度，包括：

利用所述目标跟踪网络中的分类网络确定所述目标的第一特征图和所述第二特征图之间的相似度，得到第一相似度的确定结果；

利用所述目标跟踪网络中的分类网络确定所述背景的第一特征图和所述第二特征图之间的相似度，得到第二相似度的确定结果；

所述基于所述相似度的确定结果，确定第一损失值，包括：

基于所述第一相似度的确定结果和所述第二相似度的确定结果，确定所述第一损失值。

基于上述方案，所述利用所述目标跟踪网络中的分类网络确定所述第一特征图和所述第二特征图之间的相似度，包括：

将第一特征图中的特征作为卷积核，对所述样本图像中的候选区域的特征进行卷积，生成各通道的相似度；其中，所述样本图像中的候选区域的特征根据所述样本图像中的候选区域和所述第二特征图确定；

将所述各通道的相似度在通道维度上通过相加进行合并；

所述基于所述第一特征图和所述第二特征图之间的相似度，确定第一损失值，包括：

根据合并后的相似度，确定第一损失值。

基于上述方案，利用所述目标跟踪网络中的分类网络确定所述第一特征图和所述第二特征图之间的相似度，包括：

根据所述第一特征图和所述样本图像中的候选区域的特征构成的特征图的内积，确定在通道维度上合并后的相似度；