[发明专利]基于跨模态共享和特定表示形式的RGBT目标跟踪方法

权利要求书

1.一种基于跨模态共享和特定表示形式的RGBT目标跟踪方法，其特征在于：包括以下步骤：

S1、构建多模态数据集

将可见光-热红外视频中可见光和热红外图片进行初筛、配准和标注，形成RGBT目标跟踪数据集，并分成训练集和测试集；

S2、对训练集和测试集中的图片进行预处理；

S3、构建RGBT目标跟踪模型，

该RGBT目标跟踪模型使用的深度网络框架为PyTorch，包括注意力机制模块、共享特征提取模块和特定特征提取模块，具体步骤如下：

S3.1、将预处理好的可见光图片和热红外图片同时输入到网络中；

S3.2、提取不同模态的特定特征，即加载两个结构相同但参数不同的VGG-M网络分别对训练集中的可见光图片和热红外图片进行特征提取；

S3.3、对步骤S3.2所得两个模态的特定特征使用注意力机制模块提高特征的判别性；注意力机制对模态特定特征进行增强的具体方法：

(A)通道注意力机制：将输入的模态特定特征，分别经过基于W和H的全局最大池化和全局平均池化，然后分别经过多层感知器MLP；将MLP输出的特征进行基于元素级的相加操作，再经过sigmoid激活操作，生成通道注意力图，将该图和输入的特征做元素级乘法操作获得新特征；

(B)空间注意力机制：将经过通道注意力机制模块输出的特征图作为输入特征图；先做一个基于通道的全局最大池化和全局平均池化，然后将这两个结果基于通道方向做级联操作；然后经过一个卷积操作，降维为1个通道；再经过sigmoid生成空间注意力图，最后将该图和注意力机制模块的输入特征做乘法，得到最终生成的特征；

S3.4、在共享特征提取模块中使用多尺度特征融合方法来提高特征的鲁棒性，并输出两个模态之间的共享特征；

S3.5、将两个模态各自的特定特征和共享特征进行融合，然后再将两个模态融合后的特征进行级联；

S3.6、建立一个多域学习网络来学习目标对象的共性；该多域学习网络包括四个全连接层依次为：FC1，FC2，FC3和FC4；

S3.7、在训练期间使用焦点损失函数来训练网络模型；

焦点损失函数公式如下：

FL(p_t)＝-(1-p_t)^γlog(p_t)

其中，γ是一个超参数，代表容易分类的样本和难分类样本的权重差别的难度；y∈{±1}代表的是样本的真实标签，在二分类中样本标签y＝1和y＝-1分别代表的是正样本和负样本，它们之间是互斥的，p∈[0,1]代表的是当y＝1时类的估计概率。

2.根据权利要求1所述的基于跨模态共享和特定表示形式的RGBT目标跟踪方法，其特征在于：所述步骤S1中先对拍摄到的可见光以及热红外视频中的图片进行初步的筛选，再对其进行人工标注帧值，即对图片中包含目标的候选框，生成的坐标格式为(xmin，ymin，width，height)，其中，(xmin，ymin)代表目标左上角坐标信息，(width，height)分别代表目标的宽和高；然后按照要求划分为训练集和测试集；同时对训练集和测试集中的视频序列标注相应的挑战因素。

3.根据权利要求1所述的基于跨模态共享和特定表示形式的RGBT目标跟踪方法，其特征在于：所述步骤S2中将训练集中标注完成的可见光图片和热红外图片进行预处理，即将每一张图片所在的路径位置、图片名称、帧值均写到pkl文件中，以方便在训练时候读入图片；视频序列的可见光图片和热红外图片分别放在visible和infrared两个文件夹内，对应的帧值信息存放在visible.txt和infrared.txt中，visible、infrared这两个文件夹放在同一目录下；其中，帧值是指目标的左上角位置和长宽；

对测试集中的可见光图片和热红外图片进行预处理，将测试集中的序列名称写入到txt文本中，方便后续的读入。