[发明专利]目标跟踪及相关模型的训练方法和相关装置、设备、介质

权利要求书

1.一种目标跟踪方法，其特征在于，包括：

分别对第一图像和第二图像进行目标分割，得到所述第一图像中第一对象的第一掩膜图像和所述第二图像中第二对象的第二掩膜图像；

基于所述第一掩膜图像和所述第二掩膜图像在特征维度进行对象匹配，得到第一匹配信息，并基于所述第一掩膜图像和所述第二掩膜图像在空间维度进行对象匹配，得到第二匹配信息；

融合所述第一匹配信息和所述第二匹配信息，得到跟踪信息；其中，所述跟踪信息包括所述第一对象与所述第二对象是否为同一对象。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一掩膜图像和所述第二掩膜图像在特征维度进行对象匹配，得到第一匹配信息，包括：

分别基于各所述第一对象的所述第一掩膜图像，提取得到各所述第一对象的第一特征表示，并分别基于各所述第二对象的所述第二掩膜图像，提取得到各所述第二对象的第二特征表示；

利用所述第一特征表示和所述第二特征表示，得到各所述第一对象与各所述第二对象之间的特征相似度；

基于各所述第一对象与各所述第二对象之间的特征相似度，得到所述第一匹配信息。

3.根据权利要求2所述的方法，其特征在于，所述第一特征表示或所述第二特征表示的提取步骤包括：

基于掩膜图像中各个像素点的像素值，确定对象边界；其中，所述对象边界为所述掩膜图像所属对象的边界；

沿所述对象边界从所述掩膜图像中裁剪出区域图像；

基于所述区域图像进行特征提取，得到所述所属对象的特征表示；

其中，在所述掩膜图像为所述第一掩膜图像的情况下，所述所属对象为所述第一对象，所述特征表示为所述第一特征表示，在所述掩膜图像为所述第二掩膜图像的情况下，所述所属对象为所述第二对象，所述特征表示为所述第二特征表示。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述第一掩膜图像和所述第二掩膜图像在空间维度进行对象匹配，得到第二匹配信息，包括：

利用所述第二图像对所述第一图像行光流预测，得到所述第一图像的光流图像；

基于所述光流图像，对所述第一对象的第一掩膜图像进行逐像素偏移，得到所述第一对象在所述第二图像的拍摄时刻的预测掩膜图像；

基于各个所述第一对象的预测掩膜图像分别与各个所述第二对象的第二掩膜图像之间的重合度，得到所述第二匹配信息。

5.根据权利要求4所述的方法，其特征在于，所述基于所述光流图像，对所述第一对象的第一掩膜图像进行逐像素偏移，得到所述第一对象在所述第二图像的拍摄时刻的预测掩膜图像，包括：

将所述光流图像和所述第一掩膜图像进行逐像素相乘，得到所述第一掩膜图像中像素点的偏移值；

将所述第一掩膜图像中所述像素点的第一像素坐标与所述偏移值相加，得到所述像素点在所述拍摄时刻的第二像素坐标；

基于所述第一掩膜图像中所述像素点的第二像素坐标，得到所述预测掩膜图像。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述第一匹配信息包括所述第一对象与所述第二对象之间的第一匹配度，所述第二匹配信息包括所述第一对象与所述第二对象之间的第二匹配度，所述融合所述第一匹配信息和所述第二匹配信息，得到跟踪信息，包括：

对所述第一匹配信息中所述第一匹配度进行自适应加权，得到第一加权匹配信息，并对所述第二匹配信息中所述第二匹配度进行自适应加权，得到第二加权匹配信息；其中，所述第一加权匹配信息包括所述第一对象与所述第二对象之间的第一加权匹配度，所述第二加权匹配信息包括所述第一对象与所述第二对象之间的第二加权匹配度；

将所述第一加权匹配信息和所述第二加权匹配信息进行融合，得到最终匹配信息；其中，所述最终匹配信息包括所述第一对象与所述第二对象之间的最终匹配度；

基于所述最终匹配信息进行分析，得到所述跟踪信息。