[发明专利]目标跟踪及相关模型的训练方法和相关装置、设备、介质

说明书

本申请公开了一种目标跟踪及相关模型的训练方法和相关装置、设备、介质，其中，目标跟踪方法包括：分别对第一图像和第二图像进行目标分割，得到第一图像中第一对象的第一掩膜图像和第二图像中第二对象的第二掩膜图像；基于第一掩膜图像和第二掩膜图像在特征维度进行对象匹配，得到第一匹配信息，并基于第一掩膜图像和第二掩膜图像在空间维度进行对象匹配，得到第二匹配信息；融合第一匹配信息和第二匹配信息，得到跟踪信息；其中，跟踪信息包括第一对象与第二对象是否为同一对象。上述方案，能够提升目标跟踪精度。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种目标跟踪及相关模型的训练方法和相关装置、设备、介质。

背景技术

目标跟踪技术广泛使用于众多应用场景中。以视频全景分割(Video PanopticSegmentation，VPS)为例，不仅要求生成帧间一致的全景分割，还要求对所有像素实现帧间跟踪，从而提升自动驾驶、视频监控、视频编辑等诸多技术的实现效果。

目前，现有的目标跟踪方式在跟踪精度方面仍面临着不少问题，如跟踪丢失等，从而在目标跟踪应用于上述自动驾驶、视频监控、视频剪辑等技术时严重影响其实现效果。有鉴于此，如何提升目标跟踪精度成为亟待解决的问题。

发明内容

本申请提供一种目标跟踪及相关模型的训练方法和相关装置、设备、介质。

本申请第一方面提供了一种目标跟踪方法，包括：分别对第一图像和第二图像进行目标分割，得到第一图像中第一对象的第一掩膜图像和第二图像中第二对象的第二掩膜图像；基于第一掩膜图像和第二掩膜图像在特征维度进行对象匹配，得到第一匹配信息，并基于第一掩膜图像和第二掩膜图像在空间维度进行对象匹配，得到第二匹配信息；融合第一匹配信息和第二匹配信息，得到跟踪信息；其中，跟踪信息包括第一对象与第二对象是否为同一对象。

因此，分别对第一图像和第二图像进行目标分割，得到第一图像中第一对象的第一掩膜图像和第二图像中第二对象的第二掩膜图像，并基于第一掩膜图像和第二掩膜图像在特征维度进行对象匹配，得到第一匹配信息，以及基于第一掩膜图像和第二掩膜图像在空间维度进行对象匹配，得到第二匹配信息，在此基础上，再融合第一匹配信息和第二匹配信息，得到跟踪信息，且跟踪信息包括第一对象和对象是否为同一对象，即在目标跟踪过程中，一方面在特征维度在图像之间进行对象匹配，能够有利于确保对大尺寸对象的跟踪效果，另一方面在空间维度在图像之间进行对象匹配，能够有利于确保对小尺寸对象的跟踪效果，并基于此融合两种匹配方式所得到的匹配信息得到跟踪信息，故能够同时兼顾大尺寸对象和小尺寸对象，有利于提升目标跟踪精度。

其中，基于第一掩膜图像和第二掩膜图像在特征维度进行对象匹配，得到第一匹配信息，包括：分别基于各第一对象的第一掩膜图像，提取得到各第一对象的第一特征表示，并分别基于各第二对象的第二掩膜图像，提取得到各第二对象的第二特征表示；利用第一特征表示和第二特征表示，得到各第一对象与各第二对象之间的特征相似度；基于各第一对象与各第二对象之间的特征相似度，得到第一匹配信息。

因此，分别基于各第一对象的第一掩膜图像，提取得到各第一对象的第一特征表示，并分别基于各第二对象的第二掩膜图像，提取得到各第二对象的第二特征表示，基于此再利用第一特征表示和第二特征表示，得到各第一对象与各第二对象之间的特征相似度，并基于各第一对象与各第二对象之间的特征相似度，得到第一匹配信息，即在特征维度在图像之间进行对象匹配过程中，仅需对各对象的掩膜图像进行特征提取，再度量特征相似度即可，能够降低在特征维度在图像之间进行对象匹配的复杂度，有利于提升跟踪速度。

其中，第一特征表示或第二特征表示的提取步骤包括：基于掩膜图像中各个像素点的像素值，确定对象边界；其中，对象边界为掩膜图像所属对象的边界；沿对象边界从掩膜图像中裁剪出区域图像；基于区域图像进行特征提取，得到所属对象的特征表示；其中，在掩膜图像为第一掩膜图像的情况下，所属对象为第一对象，特征表示为第一特征表示，在掩膜图像为第二掩膜图像的情况下，所属对象为第二对象，特征表示为第二特征表示。