[发明专利]一种基于Siamese网络的轻量级红外无人机目标跟踪方法

权利要求书

1.一种基于Siamese网络的轻量级红外无人机目标跟踪方法，其特征在于，包括以下步骤：

步骤A：轻量级的跟踪网络由五个主要部分组成：特征提取网络、像素级特征融合模块、动态模板更新模块、边界框回归网络和目标分类网络，特征提取网络采用神经网络搜索的轻量级卷积网络FBNet，从静态模板图像、动态模板图像和裁剪的搜索图像中生成特征映射，然后将静态和动态模板图像特征映射的线性插值作为模板特征表示，像素级特征融合模块融合模板特征和搜索图像的特征，并输出至分类和回归子网络，边界框回归网络和目标分类网络分别对目标的位置和类别进行预测，动态模板更新模块不断更新跟踪模型的动态模板，可以在不增加模型复杂度的情况下动态学习目标外观及背景的变化。

步骤B：边界框回归网络由两个简单的3*3conv-bn-relu块组成，以降低计算复杂度，分类网络采用与边界框回归网络相似的结构，网络预测一个16*16的得分图，其中每个像素表示搜索图像对应区域的目标置信度得分。

步骤C：像素级特征融合模块引入逐像素融合模块，通过从搜索图像中提取的目标位置和外观信息进行逐像素相关操作，然后将计算得到的相关特征映射与搜索图像特征连接起来，并将结果通过一个1*1conv-bn-relu块进行聚合，可以有效地表征目标的位置和外观信息。

步骤D：动态模板更新模块在模型训练时从视频序列中随机采样一个动态模板图像，以捕获目标外观等特征变化，将动态模板图像通过特征提取网络，得到的动态特征映射F_d然后通过一个可学习参数w与静态模板特征映射F_t进行线性插值F_t′:

F_t′＝(1-w)F_t+wF_d

将线性F_t′和搜索图像特征映射F_S传递给相似度模块，计算双模板和搜索图像嵌入特征的余弦相似度，在推理过程中，对每N帧选择余弦值最高的图像裁剪，用该帧预测的边界框更新动态模板，双模板表示模块使模型能够有效地编码时间信息以及对象外观和尺度变化，模型参数和FLOPs的增加很小，甚至可以忽略不计，使得它几乎是一个无成本的时间模块。

步骤E：训练阶段首先采集各种复杂场景、各种无人机类型、各种飞行姿态等无人机红外视频图像数据集，对红外图像数据集进行清洗标注，并划分训练和验证数据集，选择相应的数据增强技术、超参数、优化器及损失函数等训练验证并保存跟踪模型，将跟踪模型转换并部署至嵌入式平台。

步骤F：推理阶段，将视频的初始帧图像输入目标检测算法，得到视频初始帧图像中无人机目标的位置，给出目标框，即左上角像素坐标、目标框宽和高，以此初始框内无人机目标作为跟踪模型静态和动态模板输入，提取并融合模板的特征表示，网络模型跟踪后续红外图像中的无人机目标，输出无人机的目标框和置信度，根据相似度计算模型，计算每100帧的相似度得分，取最高分那一帧的无人机目标更新动态模板输入。