[发明专利]一种多光谱双流网络的目标检测方法

权利要求书

1.一种多光谱双流网络的目标检测方法，其特征在于：该方法包括以下步骤：

S1：可见光和红外光数据分别经过特定的Mosaic数据增强、自适应锚框计算、自适应图片缩放过程后进入双流神经网络训练；

S2：建立基于YOLOv5的双流卷积检测网络的神经网络模型，其中Backbone中的部分采用图像堆叠方式并进行卷积操作的模态融合模块，再与双流网络组成残差结构进行模态融合与特征学习，两个卷积模块分别位于40×40×512、20×20×1024所对应的特征图进行输出，其中前二为特征图的长和宽，后者为通道数；

S3：建立基于SwinTransformer基本模块，其中加入全局平均池化和双线性插值模块组成跨模态特征融合CSFST模块，加入Backbone的80×80×256处组成多模态特征融合结构；

S4：在Backbone的特征提取过程中，80×80×256、40×40×512、20×20×1024三处的输出分别对应大、中、小三个特征图；输出三个特征图进入Neck层即特征金字塔，进行特征提取，对输出的特征进行预测，并输出预测结果；

S5：在训练阶段，采用YOLOv5l预训练权重来进行初始化，并使用随机梯度下降算法来学习网络的参数；在预测阶段，使用softmax分类器获得所属类别的最终分类概率；在优化阶段，采用定位损失、分类损失、置信度损失联合优化的方式减少真实值与预测值之间的误差；不断重复S5，直到迭代次数达到设定的迭代次数时，模型训练完成，进行目标检测任务。

2.根据权利要求1所述的一种多光谱双流网络的目标检测方法，其特征在于：在所述S2中，图像堆叠方式是以通道维度进行堆叠；设输入的可见光特征图为X_V，特征图的长、宽、通道数分别为H、W、C，输入的红外光特征图为X_T，特征图的长、宽、通道数分别为H、W、C；则表示为：

F＝concat(X_V,X_T)

其中concat表示以通道维度的特征图叠加操作，融合特征图F的长、宽、通道数分别为H、W、2C。

3.根据权利要求1所述的一种多光谱双流网络的目标检测方法，其特征在于：在所述S2中，初始化神经网络模型参数包括初始化产生SwinTransformer模块的输入参数和相应的YOLOv5神经网络训练参数；双流神经网络模型包括Backbone、Head、预测层，其中Backbone包括初始卷积操作、基于SwinTransformer架构的模态融合特征提取操作，Head层包括四个卷积与全连接层，最后在预测层进行预测操作。

4.根据权利要求1所述的一种多光谱双流网络的目标检测方法，其特征在于：在所述S4中，基于YOLOv5的双流卷积检测网络的神经网络模型中，输入不同模态的图像对，Backbone为双流卷积网络，并且将SwinTransformer模块作为可见光和红外光双模态间的特征提取器与特征融合器；首先将输入的两种模态图像经过卷积后，组成SwinTransformer模块的输入，后经SwinTransformer模块与卷积所组成的残差网络，分别将三个不同大小的特征图输入进特征金字塔，后经预测层输出结果。

5.根据权利要求3所述的一种多光谱双流网络的目标检测方法，其特征在于：所述SwinTransformer架构采用窗口计算自注意力W-MSA和移动窗口计算自注意力机制SW-MSA，构建算法的结构为重复的LN、MLP、W-MSA与SW-MSA单元，并在其中Q、K的计算中加入卷积，在损失的可接受范围内的精度下大幅减小计算量并提高计算速度；同时，Swin Transformer的输入经过全局平均池化操作，在计算结束后对特征图使用双线性插值法，以减少计算量。