[发明专利]基于跨模态共享和特定表示形式的RGBT目标跟踪方法

说明书

本发明公开一种基于跨模态共享和特定表示形式的RGBT目标跟踪方法，对可见光视频和对应的热红外视频进行配准和标注，按照要求将其分成训练集和测试集；利用VGG‑M网络来提取不同模态的模态特定特征，利用共享特征提取模块来提取两个模态之间的模态共享特征，同时在共享特征提取模块中使用多尺度特征融合的策略来增强特征以提高其鲁棒性。本发明在光照变化强烈、夜晚等极端条件下跟踪上目标，通过焦点损失函数使训练的模型更加关注于难以分类的样本，提高模型的鲁棒性。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于跨模态共享和特定表示形式的RGBT目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域中的重要研究方向，其在监控系统、自动驾驶等领域有着广泛的应用。目标跟踪的任务是在给定某视频序列第一帧中目标的位置和大小的情况下，对视频后续帧的目标状态和大小进行估计。

近年来深度学习发展迅速，越来越多的研究人员将深度学习相关技术应用于目标跟踪领域使得目标跟踪技术取得了很大的进步。因为极端的天气(如雾，霾等)、相机的抖动、光照条件不好等原因使得可见光模态下的图片成效效果不好，所以基于可见光模态的目标跟踪算法很难应对这些复杂的环境。热红外摄像机拍摄的图像是根据温度成像的，相对于可见光相机，热红外成像仪对光照不敏感、具有很强的雾霾穿透力等。近些年，随着热红外技术的不断成熟，其被广泛应用于各个领域，如军事、人机交互等。RGBT目标跟踪通过聚合两个模态的数据来克服复杂场景对单模态跟踪的影响从而进一步提高性能。

在基于可见光和热红外模态的视频目标跟踪中，不同模态之间既有各自独特的视觉模式，也有一些共有的视觉模式。可见光模态下的图片颜色信息丰富，空间分辨率较高，而热红外模态下的图片是根据温度成像，在雾、霾等情况下成像效果好；同时可见光模态和热红外模态之间共享一些信息，如对象的边界，空间的布局和一些细粒度的纹理信息等等。

现有RGBT跟踪算法一般使用不同模态的特定特征进行融合，没有考虑到两个模态之间的共享特征。同时现有RGBT跟踪算法在训练期间一般都使用传统的二分类交叉熵损失函数来训练模型，这样在训练期间无法使模型更加偏重于困难样本，所以本跟踪算法使用焦点损失函数来进行训练，自适应降低易分样本的权重而增加难分的样本的权重。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于跨模态共享和特定表示形式的RGBT目标跟踪方法，利用可见光模态和热红外模态之间的互补性，在光照变化强烈的极端条件下进行目标跟踪。

技术方案：本发明的一种基于跨模态共享和特定表示形式的RGBT目标跟踪方法，包括以下步骤：

S1、构建多模态数据集

将可见光-热红外视频中可见光图片和热红外图片进行初筛、配准和标注，形成RGBT目标跟踪数据集，并分成训练集和测试集；

S2、对训练集和测试集中的可见光图片和热红外图片进行预处理；

S3、建RGBT目标跟踪模型。

该RGBT目标跟踪模型使用的深度网络框架为PyTorch，包括注意力机制模块，共享特征提取模块和特定特征提取模块，特定特征提取模块使用VGG-M网络的前三层卷积层。

本过程中选取MDNet跟踪器作为baseline跟踪器，加载两个结构相同且参数不同的VGG-M网络分别对可见光和热红外分支进行特定特征的提取，在共享特征提取模块中，采用多尺度融合方法来对特征进行增强；然后将模态特定特征和模态共享特征进行进行元素级相加；训练期间使用焦点损失函数，用于自适应降低易分样本的权重，使得模型更加偏向于难分类的样本；具体步骤如下：

S3.1、将预处理好的可见光图片和热红外图片同时输入到网络中；