[发明专利]一种基于知识蒸馏的多模小目标检测方法

说明书

本发明公开了一种基于知识蒸馏的多模小目标检测方法，包括构建可见光‑多光谱图像数据本征知识迁移模型，利用空谱联合的非局部特征金字塔视觉注意力结构进行特征精炼，以及通过基于空谱联合特征迁移的知识蒸馏模型精炼多光谱空谱联合特征得到高精度、高效率深度神经网络三个主要步骤。本发明能够利用可见光大数据对目标本征知识进行迁移解决多光谱数据样本不充足的问题，通过非局部注意力提升检测识别鲁棒性，并且通过知识蒸馏后的神经网络参数数量精简、计算资源开销降低，能够轻量化运行。

技术领域

本发明涉及多模小目标检测识别，特别是涉及一种基于知识蒸馏的多模小目标检测方法。

背景技术

通过多模成像，既有空间信息，还有光谱信息；综合利用这些信息进行目标识别相比单独使用可见光和红外数据进行目标识别有大幅精度提升。该技术在诸多领域具有广泛的应用需求，包括在海上搜救人员、船只、漂浮物等目标，在机场、城市安防系统中探测识别飞机、无人机、鸟等低慢小目标；同时它还在要地防空、航空侦测、森林防火等场景下发挥重要作用。

目前存在一些通过深度学习的方法进行多模光电小目标检测的方法，但是在实际强对抗战场环境场景下，可用的多光谱图像数据样本不足，难以支撑高精度神经网络模型进行训练，因此一个能解决多光谱图像样本不足的可训练深度神经网络模型是当前该领域的重要需求之一。

另一方面针对强对抗环境复杂，通过深度神经网络模型所提取的目标特征易受复杂背景和噪声干扰；经典的卷积运算只能提取图像的局部领域特征，然而在复杂环境中，由于姿态、距离等变化使得目标之间的度量变得困难，无法有效捕捉不同目标所在不同区域特征之间的关联性，这些问题都制约了目标检测定位精度的提升和其鲁棒性。

在深度神经网络模型实际训练时，会遇到多光谱图像高维度输入导致深度神经网络参数数量多、计算资源开销大的问题，因此在高精度、高效率方面仍然需要做出较大的改进。

总结上述现存问题，可以看出，针对多光谱小目标检测问题，需要从实际场景的多光谱数据样本量、环境和噪声的复杂程度、目标的特殊形态特征以及多光谱高维度的参数量进行多方面考虑，需要针对深度网络模型的精度和效率做出较大的改进。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于知识蒸馏的多模小目标检测方法，既能解决特定环境下多光谱数据样本数量不足难以支撑高精度神经网络模型训练的问题，又具有在复杂环境和噪声的干扰下提升模型精度和鲁棒性的能力，同时模型检测精度较高，训练效率较高。

本发明的目的是通过以下技术方案来实现的：一种基于知识蒸馏的多模小目标检测方法，包括以下步骤：

S1：构建可见光-多光谱图像数据本征知识迁移模型；

S2：利用空谱联合的非局部特征金字塔视觉注意力结构进行特征精炼；

S3：通过基于空谱联合特征迁移的知识蒸馏模型精炼多光谱空谱联合特征得到高精度、高效率深度神经网络。

其中，可见光-多光谱图像数据本征知识迁移模型由可见光大数据训练的目标检测识别模型剪枝得到，再利用少量多光谱图像进行微调训练；空谱联合的非局部特征金字塔视觉注意力结构利用卷积层对空间-通道联合特征进行重编码和向量化，采用泰勒级数展开近似对非局部特征关联建模过程进行优化；空谱联合特征迁移的知识蒸馏精炼方法在FCOS模型的基础上利用光-多光谱图像数据本征知识迁移模型和空谱联合的非局部特征金字塔视觉注意力结构增强教师网络特征提取能力并训练教师网络，基于同源结构设计学生网络，将教师网络的增强后的特征图作为学生网络特征图的训练目，均方误差最小化作为训练目标，对存在目标潜在区域的部分进行知识蒸馏联合训练，得到知识蒸馏的高性能学生网络模型用于目标识别。

其中构建可见光-多光谱图像数据本征知识迁移模型流程如下：

S11:利用资源丰富、容易获取的大量可见光图像目标检测数据集，训练一个深度学习目标检测模型。