[发明专利]一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法

说明书

本发明涉及一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法。本发明设计了基于目标感知的深度孪生网络高光谱目标跟踪框架，相比于现有高光谱目标跟踪模型，本发明提升了算法处理速度以及精度。本发明设计了高光谱目标感知模型用以提取高光谱目标的语义特征，增加了网络对高光谱视频目标的表征能力。设计了自适应边界框预测模块，可以直接预测出目标的边界框。本发明可以解决用于深度学习模型训练的高光谱训练样本少的问题，相比于现有高光谱目标跟踪模型，本发明提升了算法处理速度以及精度。

技术领域

本发明基于计算视觉技术处理领域，特别涉及一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法。

背景技术

视频目标跟踪由于其拥有广泛的应用一直是广大学者研究的热点。由于RGB视频目标跟踪对于与环境相似的目标不敏感，导致基于RGB视频的目标跟踪算法跟踪这类目标时容易失败。而高光谱视频拥有丰富的光谱信息，即使目标与环境相似(BackgroundClutters)，只要目标材质与环境不同，那么也能通过光谱信息来区分目标与环境，从而获得更好的跟踪结果。因此，高光谱视频在目标与其周围环境难以区分的情况下能够发挥重要的作用。在此基础上，高光谱视频目标跟踪也吸引了越来越多研究学者的关注。

与此同时，高光谱视频目标跟踪是一项艰巨的任务。其一，目前高光谱视频目标跟踪算法都是使用传统手工特征表征目标的特征，难以适应高时间-高空间-高光谱这种高维非线性三高影像。其二，现有的高光谱深度学习目标跟踪器都是基于伪彩色的跟踪器，没有使用高光谱的语义特征，难以表征出高光谱目标的特性。上述两类情况都会导致算法计算量大，处理速度慢。其三，现有的高光谱高算法多使用多尺度搜索或者生成多个候选区域的方法进行预测，这使得网络计算量进一步加大。由于上述几个问题存在，导致目前高光谱视频目标跟踪算法表现较差。

发明内容

本发明的目的在于提出一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法。

本发明所提供的这种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，具有以下三个显著特点。一是设计了基于深度孪生网络的高光谱视频目标跟踪框架。二是设计了高光谱目标感知模块，利用高光谱语义特征表征高光谱目标，获取更有判别性的特征。三是设计自适应边界框预测模块，在不需要多尺度搜索与多个候选区域预测的情况下直接预测目标的尺度和位置，相比基于手工特征的高光谱跟踪器与基于伪彩色的跟踪器处理速度提升数十倍。

本发明提供基于目标感知的深度孪生网络高光谱视频目标跟踪方法，实现步骤如下：

步骤1，高光谱视频数据预处理；

步骤2，载入基于孪生网络的自适应边界框的RGB模型；

将高光谱视频帧中的任意三个波段提取出来组成伪彩色视频帧Y_{i_rgb}输入RGB模型，得到RGB模型的最终输出(clsmap_rgb，locmap_rgb)，其中clsmap_rgb为分类特征图，locmap_rgb为最终的回归特征图，所述RGB模型由孪生网络构成，包括结构相同的模板分支1和搜索分支1，其具体结构包括骨干网络和多组自适应边界框预测模块，自适应边界框预测模块包括分类分支和回归分支；

步骤3，使用高光谱目标感知模块预测高光谱目标类别；

将高光谱视频帧输入高光谱目标感知模块，得到高光谱目标感知模块最终输出的分类特征图clsmap；所述高光谱目标感知模块由孪生网络构成，包括结构相同的模板分支2和搜索分支2，其具体结构包括骨干网络和多组高光谱目标感知预测模块，高光谱目标感知预测模块的结构与RGB模型的自适应边界框预测模块的分类分支的网络结构相同；

步骤4，将高光谱目标感知模块输出的clsmap与RGB模型输出的clsmap_rgb进行加权融合得到最终的clsmap_f；