[发明专利]一种基于知识蒸馏的多模小目标检测方法

权利要求书

1.一种基于知识蒸馏的多模小目标检测方法，其特征在于：包括以下步骤：

S1：构建可见光-多光谱图像数据本征知识迁移模型；

S2：利用空谱联合的非局部特征金字塔视觉注意力结构进行特征精炼；

S3：通过基于空谱联合特征迁移的知识蒸馏模型精炼多光谱空谱联合特征得到最终的深度神经网络；

所述步骤S1包括以下子步骤：

S11：获取包含大量可见光图像目标检测数据集，

S12：以深度学习目标检测模型为基础进行模型剪枝和分解，剪去与可见光目标检测任务直接关联的网络层，包括三通道的输入卷积层、面向可见光图像目标位置回归和分类的输出卷积层或全连接层、以及其他在稀疏化训练后冗余度高于预设阈值的卷积层，精简后的模型即通过可见光大数据学习到的能够提取目标本征知识的特征提取网络；

S13：将精简的特征提取网络作为多光谱目标检测与智能识别模型的网络骨架，以此为基础设计并增加面向多光谱图像目标检测识别任务的神经网络层，包括输入和预处理多光谱图像的卷积层、多光谱图像空谱联合特征的提取和融合层、多光谱目标检测分支的输出卷积层、多光谱目标分类与识别分支的输出卷积层，最终得到用于多光谱目标初次粗检测的深度神经网络模型；

S14：利用少量多光谱图像对深度神经网络模型进行微调训练，训练分为两个阶段进行，训练过程采用冻结部分网络层的分阶段训练策略，使得神经网络能够通过少量的多光谱数据样本，迁移学习到在可见光大数据中提取的目标特征；在神经网络训练的第一阶段，冻结基础特征提取网络的权值不更新，只通过训练更新直接关联多光谱目标检测识别任务的卷积网络层，当损失函数连续十个轮次稳定下降后，解冻被冻结的其他卷积层进行第二阶段训练；第二阶段利用可见光-多光谱跨模态联合训练方法，同时训练两个卷积神经网络模型，直至联合损失函数收敛，提取多光谱图像的空谱联合数据特征；可见光-多光谱跨模态联合训练采用的损失函数定义为：

l＝l_C(D_s,y_s)+λl_A(D_s,D_t)

式中，l_C(D_s,y_s)表示在可见光有标注数据上的目标检测识别损失，D_s,y_s分别表示训练数据和先验标签，l_A(D_s,D_t)表示模态联合训练时可见光-多光谱模型的特征一致性损失，D_t表示少量的多光谱图像数据，l表示总损失，λ表示权衡可见光-多光谱两部分网络模型的权重参数；

所述步骤S2包括以下子步骤：

S21：通过多尺度池化操作汇聚和融合雷达图像空间多尺度特征块之间特征，该过程描述为：

式中，X_PA表示pyramid-aware特征图，X_n表示尺度为n的金字塔池化特征图；patch_n^(i,j)表示原始特征图X₁中左上角坐标为(i,j)、尺寸为n×n的图像patch；采用步长为1的最大池化操作，得到一系列不同尺度的特征图并形成特征金字塔，池化后特征图每个像素包含以该像素为中心的patch区域特征信息；使得多尺度patches之间相关矩阵运算仍然转变为和之前一样的矩阵元素间的相关运算，保持多尺度特征图尺寸不变；利用卷积层对空间-通道联合特征进行重编码和向量化，捕捉不同尺度目标所在图像不同区域、不同通道特征之间的非局部关联关系，实现不同尺度空间-通道特征知识的互补，提高信息的完备性，并使得抽象出的目标特征具有尺度、通道鲁棒性；

S22：采用视觉问答机制构建目标注意力机制，即

Query:θ(X)_vec＝vec(XW_θ)

Value:g(X_NP)_vec＝vec(X_NPW_g)

其中，θ(·),g(·)是对输入特征的可学习映射，vec(·)表示向量化的多尺度特征，X表示输入特征图，W表示神经网络的可学习权重；

构建非局部特征关联，使得神经网络模型学习到目标的空间长距离依赖关系：

采用泰勒级数展开近似对非局部特征关联建模过程进行优化，即：

式中，P表示泰勒展开的最高阶次；f^(p)_θ表示f(.)对vec(XW_θ)的p阶偏导数；表示f(.)对的p阶偏导数；由于两项的自变量相同，并且初始参数被设置为0，因此实际上它们能够被合并，当P确定时，相似度函数f(.)有闭式解令：

采用点积形式，将注意力模块的输出表示为：

式中，两个NC×NC维矩阵的相关运算简化为两个NC×P维矩阵的相关运算，使得捕捉长距离依赖特征的效率得到优化，从而提取到复杂海杂波场景下目标的多尺度非局部关联特征，其中P＜＜NC；

所述步骤S3包括：

S31：将经过S1、S2设计的训练得到的多光谱图像特征提取网络作为教师网络，在教师网络的输出特征图中对物体所在区域提取物体全局特征，共有76层卷积层，下采样32倍，并将全局特征包括空间特征和光谱特征叠加至特征图中物体的关键目标位置进行特征增强；然后将增强后的特征图作为学生网络的回归目标加入损失函数进行优化；

S32：在全局特征叠加部分，根据所训练教师网络用来提供知识蒸馏监督信息；教师网络使用FCOS模型结构，经过骨干网络和特征金字塔结构后，得到5级下采样倍率stride分别为8，16，32，64，128的特征图，这些特征图用于预测目标位置坐标、边界框尺寸以及目标类别；对于任一经过预处理后输入到神经网络的图像I，经过骨干网络和特征金字塔后的特征图分别为F_i(i＝1,2,3,…,5)＝I/stride_{i(i＝1,2,3,…,5)}，每个输出特征图F_i的通道数为position+class，其中position表示以下几个参数的总数量，即：目标的中心点(x,y)的两个坐标参数、目标边界框的宽w和高h参数；需要说明的是，中心点(x,y)和宽w和高h在此处解码为当前网格点到目标边界框的距离F_itblr，class表示目标的类别F_iclass；最终输出的特征图表示为F_i＝[F_itblr,F_iclass]；其维度为C×W_i×H_i，其中W_i×H_i为物体框在特征图上对应的宽与高，C＝position+class为特征图的通道数，i为输入图片中的目标的索引；

S33：在知识蒸馏部分，为了将教师网络增强后的特征迁移至学生网络，在训练学生网络时将教师网络的参数被固定，图片分别被输入教师网络和学生网络，经过教师网络得到的特征图经过学生网络得到的特征图分别为将教师网络的增强后的特征图作为学生网络特征图的训练目，均方误差最小化作为训练目标；由于和物体识别任务不同，目标检测任务还存在许多背景区域，在进行知识蒸馏时只对存在目标潜在区域的部分进行蒸馏，具体通过对各层特征图F_i乘上掩码矩阵M_i∈R^W×H_i实现；目标置信度大于0.5的位置值为1，否则值根据中心度量规则进行衰减至0，即

式中，K^tl,br为正样本区域的点集合，越接近目标中心则M_i的值越大，说明神经网络回归预测的质量越好；因此知识蒸馏损失函数表示为

式中，表示焦点交叉熵损失函数；

S34：训练模型并实现基于空谱联合数据的本征知识蒸馏，输出高质量多光谱图像特征，知识蒸馏过程首先训练好教师网络，而后对教师网络的输出预测使用加入温度T变量的Softmax函数：

其中x_i表示目标类别，当T数值等于1时，为标准的Softmax函数；选取数值较高的T_high通过教师网络产生Soft-target，即教师网络模型经过Softmax层输出的类别概率，每一类别都分配了概率，正样本的概率最高，而后使用Soft-target和T_high、Hard-target和T＝1作为Loss，同时训练学生网络，其中Hard-target指原始数据标注的类别标签，正样本为1，其余负样本为0，最后设置T＝1，在学生网络上进行微调；经过知识蒸馏训练后的学生网络性能高于单独训练得到的学生网络，所得到的学生网络作为目标检测算法的基础网络，结合目标检测算法后续结构化网络和输出头，输出的参数包含目标的位置信息、类别概率以及置信度概率，其中位置信息包含目标的中心点坐标和长宽信息，将能够在推理预测阶段使用相同参数量和计算量实现更高性能的多光谱图像目标检测识别；

S35：将经过知识蒸馏训练好学生网络进行封装，移植到嵌入式TX2设备上，输入待预测的多光谱小目标图像，进行目标检测识别并输出可视化结果。