[发明专利]一种基于孪生神经网络的红外无人机目标跟踪方法

说明书

本发明公开了一种基于孪生神经网络的红外无人机目标跟踪方法，融合孪生神经网络和区域候选网络，以ResNet为特征提取网络，并采用多层特征融合，增强模型特征表达能力，提升模型的跟踪性能，将深度可分离卷积引入相似度度量机制，提升模型的跟踪速度，主要步骤包括：(1)构建红外无人机目标图像数据集，目标跟踪模型训练和验证；(2)初始红外图像中无人机目标定位；(3)以初始红外图像中无人机目标作为模板，跟踪网络跟踪后续红外图像中的无人机目标，输出无人机所在位置以及置信度；(4)根据跟踪网络输出的置信度更新模板，所述的目标跟踪方法具有较好的跟踪鲁棒性与实时性，适用于红外无人机目标跟踪。

技术领域

本发明实施例涉及无人机领域，具体涉及一种基于孪生神经网络的红外无人机目标跟踪方法。

背景技术

随着民用无人机产业高速发展，无意乱飞、黑飞等事件频发。由于民用无人机具有放飞简单、起飞突然、目标小，难以发现等特点，对民航安全构成了较大威胁，同样给大型活动、重大会议的安保带来了巨大挑战。

光电探测和目标跟踪技术是空中目标探测重要手段，具有无线电静默、反应快、定位精度高、探测结果直观可视等优势。但由于空中目标距离远、体积小，其红外辐射特征较低。使得通过红外探测的发现距离大大缩短。同时，光电探测技术受天气能见度、湿度等影响较大，在实际使用中应充分考虑环境因素。针对空中目标的探测，需进一步提升信号处理水平，在现有探测器硬件基础上，进一步提高系统的探测距离和探测概率，从而适应更多场景应用并保证实时性与准确性，因此研究目标跟踪算法具有重要意义。

目标跟踪是指在每一帧图像中提取感兴趣的目标，并输出目标框在图像中的位置。目标跟踪的方法经历了从经典算法到基于核相关滤波算法，再到基于深度学习的跟踪算法的过程。经典跟踪算法主要有光流法(Optical Flow)，Meanshift，粒子滤波等；核相关滤波算法主要有MOSSE，KCF，DSST等；深度学习的跟踪算法主要是基于孪生神经网络的跟踪算法。基于深度学习的方法能够提取更高层次的语义特征，对目标运动过程中发生的变化具有更强的鲁棒性。

孪生网络中的核心问题在于现有的孪生网络目标跟踪算法如SiamFC和SiamRPN等，只能用比较浅的卷积网络(如AlexNet)，无法利用深层神经网络为跟踪算法提升精度，而直接引入深层神经网络甚至会使性能大幅衰减。由于卷积操作的padding会破坏严格的平移不变性，孪生网络在使用深度神经网络存在位置偏见问题。基于深层孪生网络的目标跟踪算法对于复杂场景下的无人机目标具有良好的检测跟踪能力，对尺度变化、形变等具有较强的鲁棒性。

发明内容

为此，本发明实施例提供一种基于孪生神经网络的红外无人机目标跟踪方法，以解决现有技术中的问题。

为了实现上述目的，本发明实施例提供如下技术方案：一种基于孪生神经网络的红外无人机目标跟踪方法，所述具体步骤如下：

S1：基于SiamRPN++结构，以深度残差网络ResNet为特征提取器，网络会提取后三个block的结果放入输出结果形状相同的SiamRPN网络，然后通过直接加权求和各个结果，在网络相似度度量机制中采用深度可分离卷积，以减少模型计算量。

S2:红外无人机目标图像数据集构建。采集多种场景、多类型无人机、多姿态飞行红外图像数据集，然后对红外图像数据集进行标注。

S3:基于步骤1的模型和步骤2构建的数据集，选择相应的数据增强技术、迭代次数、学习率、损失函数等训练验证模型并保存。

S4:基于步骤3保存的模型，通过手动框选和自动目标检测初始红外图像中无人机目标的位置，给出目标框，即左上角像素坐标、目标框宽和高。以此框内无人机目标作为模型模板输入，并提取此模板的特征，网络模型跟踪后续红外图像中的无人机目标，输出无人机的目标框和置信度。