[发明专利]一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法

权利要求书

1.一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于，包括以下步骤：

步骤1，高光谱视频数据预处理；

步骤2，载入基于孪生网络的自适应边界框的RGB模型；

将高光谱视频帧中的任意三个波段提取出来组成伪彩色视频帧Y_{i_rgb}输入RGB模型，得到RGB模型的最终输出(clsmap_rgb，locmap_rgb)，其中clsmap_rgb为分类特征图，locmap_rgb为最终的回归特征图，所述RGB模型由孪生网络构成，RGB模型包括结构相同的模板分支1和搜索分支1，RGB模型的具体结构包括骨干网络和多组自适应边界框预测模块，自适应边界框预测模块包括分类分支和回归分支；

步骤3，使用高光谱目标感知模块预测高光谱目标类别；

将高光谱视频帧输入高光谱目标感知模块，得到高光谱目标感知模块最终输出的分类特征图clsmap；所述高光谱目标感知模块由孪生网络构成，高光谱目标感知模块包括结构相同的模板分支2和搜索分支2，高光谱目标感知模块的具体结构包括骨干网络和多组高光谱目标感知预测模块，高光谱目标感知预测模块的结构与分类分支的网络结构相同；

步骤4，将高光谱目标感知模块输出的clsmap与RGB模型输出的clsmap_rgb进行加权融合得到最终的特征clsmap_f；

步骤5，将得到的clsmap_f输入到交叉熵损失函数中，输出损失值loss，反向传播损失值loss更新网络模型参数，最终得到优化后的网络模型f_network(·)；

步骤6，将包含待跟踪目标的高光谱视频帧X_i输入到网络模型f_network(·)中的模板分支，包括RGB模型的模板分支1以及高光谱目标感知模块的模板分支2，将后续帧X_i+1，X_i+2，X_i+3…X_i+n依次输入到网络模型f_network(·)的搜索分支，包括RGB模型的搜索分支2以及高光谱目标感知模块的搜索分支2，得到locmap_rgb与clsmap_f，通过clsmap_f预测出目标类别，通过locmap_rgb预测出目标的边界框，最终得到目标的跟踪结果。

2.如权利要求1所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：所述步骤1的实现方式如下，

步骤1.1，将高光谱视频数据转化为一帧帧连续的图像X_i；

步骤1.2，将含有目标的高光谱视频图像帧X_i全部调整成511×511×C大小的高光谱视频图像帧Y_i，C为高光谱视频帧的通道数。

3.如权利要求1所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：RGB模型和高光谱目标感知模块中的骨干网络均为resnet50。

4.如权利要求1所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：所述自适应边界框预测模块包含分类预测模块与回归预测模块，将模板帧特征与搜索帧特征同时输入“卷积层-深度互相关卷积-分类预测头”得到分类特征图，将模板帧特征与搜索帧特征同时输入“卷积层-深度互相关卷积-回归预测头”得到回归特征图。