[发明专利]基于多模态交互和多阶段优化的实时RGBT目标跟踪方法

权利要求书

1.基于多模态交互和多阶段优化的实时RGBT目标跟踪方法，其特征在于基于红外光和可见光两种模态交互，构建一个目标跟踪模型，首先利用已有RGBT目标跟踪数据进行离线训练，在线跟踪时，根据首帧确定的跟踪目标在线微调跟踪目标模型参数，然后对视频序列进行实时目标跟踪；所述目标跟踪模型包括特征提取模块、多模态交互模块、目标分类器以及结果优化模块，实现如下：

步骤1)：将经过时空配准的热红外和可见光图像作为目标跟踪模型的输入；

步骤2)：构建共享权重的双流特征提取模块，所述双流特征提取模块利用轻量化VGG-M的前三层卷积对输入的热红外及可见光图像提取红外和可见光的深度特征；

步骤3)：构建多模态交互融合模块，对提取的红外和可见光的深度特征，计算多头跨模态注意力生成特征残差图，以双向增强的方式提升模态质量：

单一跨模态注意的从红外到可见光模式的判别特征转换表示为公式如下：

上式中，表示一对从步骤2)中获取的可见光和红外深度特征，R表示可见光，T表示红外，公式(1)中Q，K和V分别表示查询、键和值，均经过1×1卷积操作进行变维，d_k表示尺度因子，首先，建立Q^R和K^T之间的交叉模态关联，然后通过softmax函数生成注意矩阵，最后，交叉模态特征由注意力矩阵和V^T加权生成，为了兼顾不同空间的注意力分布，将单一跨模态注意扩展到多头结构，公式如下：

MultiHead(Q^R，K^T，V^T)＝Concat(H₁，...，H_n)W^O (2)

H_i＝Attention(Q^RW_i^Q，K^TW_i^K，V^TW_i^V) (3)

上式中，表示第i个注意力头下Q，K和V的权重矩阵，W^O表示多头注意力拼接的权重矩阵，n表示注意力头的个数，i＝1，...，n，Concat表示级联操作；

得到多头跨模态注意力的特征残差图F_T-R＝MultiHead(Q^R，K^T，V^T)，根据双向增强的特性，根据上述公式反之计算得F_R-T＝MultiHead(Q^T，K^R，V^R)，F_R-T表示多头跨模态注意力的可见光模式转移到红外模式的判别力特征，即得到两个特征互补残差图F_R-T和F_T-R；

步骤4)：使用门控函数去除步骤3)所得结果中的冗余特征信息，再利用级联的方式将增强的多模态特征聚合；

步骤5)：利用ROIAlign在步骤4)所生成的融合特征图上进行目标与背景采样，以目标为正例，背景为负例构建训练样本，用于训练目标分类器；

步骤6)：构建目标分类器，由三层全连接层组成，使用softmax计算二分类损失，从而更新模型参数，目标分类器输出跟踪预测结果；

步骤7)：构建结果优化模块，由光流算法和优化模型组成，光流用于预测目标的大范围移动，计算相邻两帧之间的偏移量，对跟踪结果进行修正，优化模型则对预测结果进行二次回归，从而获得更为精确的定位。