[发明专利]一种基于协同低秩图模型的RGBT目标跟踪方法及系统

权利要求书

1.一种基于协同低秩图模型的RGBT目标跟踪方法，其特征在于，包括以下步骤：

S1、同时输入一对配准的多模态视频序列，将目标的包围盒划分为不同的图像块，以每个图像块为节点构图；

S2、同时对特征的异质性与协同性建模，采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分，并对特征之间的协同性进行建模；

S3、构建基于协同低秩图模型的RGBT目标跟踪模型，优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示；

所述的RGBT目标跟踪模型的公式如下：

其中，m∈{1，2，...，M}代表第m种模态，||D^m-G^m||_2，1代表通过l_2，1范数实现对第m种模态矩阵的低秩约束；||E^m||₁是通过l₁范数对第m种模态噪声矩阵进行稀疏约束；rank(G)是对协同性矩阵施加低秩约束；用来计算不同图像块之间的相似性；Γ＝[Γ¹，Γ²，...，Γ^M]^T为参数向量，由第一次迭代后的重构误差决定；α，β，γ，δ，λ₁和λ₂表示正则化参数；⊙表示向量的点乘，即对应元素相乘；

S4、利用交替方向乘子法对步骤S2中的RGBT目标跟踪模型的公式进行求解，并采用结构化支持向量机进行跟踪，通过最大化分类得分得到跟踪结果，将得到的目标特征表示输入到结构化支持向量机中进行预测，预测出最终的结果。

2.根据权利要求1所述的一种基于协同低秩图模型的RGBT目标跟踪方法，其特征在于，步骤S1中所述的每个图像块为节点构图的方法为：初始化种子节点的权重，缩小框中图像块权重设置为1，将缩小框中的图像块初始化即全是前景，而包围盒与扩大框之间的全是背景，即表示第i个图像块的权重；

所述的缩小框的尺寸为：(l_x+0.2W，l_y+0.2H，0.6W，0.6H)，扩大框的尺寸为：(l_x-W′，l_y-H′，W+2W′，H+2H′)，其中，(l_x，l_y，W，H)分别指目标的包围盒左上角的坐标、宽和高，W′和H′表示图像块的宽和高。

3.根据权利要求2所述的一种基于协同低秩图模型的RGBT目标跟踪方法，其特征在于，步骤S2中所述的采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分的公式如下：min_D，E||D||_2，1+α||E||₁，s.t.X＝D+E，其中，低秩约束采用l_2，1范式，稀疏约束采用l₁范式，所述的特征之间的协同性进行建模公示如下：

min_D，E，G||D-G||_2，1+α||E||₁+βrank(G)，s.t.X＝D+E，G代表协同性，E代表异质性，对G施加低秩约束，对E施加稀疏约束，||D-G||_2，1代表通过l_2，1范数实现对矩阵的低秩约束；||E||₁是通过l₁范数对噪声矩阵进行稀疏约束，rank(G)是对协同性矩阵施加低秩约束。

4.根据权利要求1所述的一种基于协同低秩图模型的RGBT目标跟踪方法，其特征在于，步骤S3中所述的优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示的方法为：引入为辅助变量用以取代D^m-G^m，G＝BC用以对协同性矩阵施加低秩分解，其中通过模型得到优化后的图像块权重，并且针对可见光图像提取颜色和梯度特征，针对热红外图像提取灰度和梯度特征，梯度信息和每个颜色通道的维度被设置为8；表示第i个图像块的可见光和热红外特征，然后将模型优化得到的图像块权重向量s¹，s²，...，s^M与提取的特征结合，构成目标特征表示。