[发明专利]一种多光谱双流网络的目标检测方法

说明书

本发明涉及一种多光谱双流网络的目标检测方法，属于图像识别领域。该方法在YOLOv5的Backbone开始阶段有两条数据流，分别对所输入的可见光图像和红外光图像进行特征提取操作，首先构建双流网络，第一个融合模块基于残差网络与基于改进的SwinTransformer模态融合模块进行模态融合特征学习，第二个与第三个基于残差网络以特征图叠加的方式进行模态融合，重复三个模态融合模块的操作后，结束Backbone阶段，之后的Head层与预测程序与YOLOv5相同。本发明解决了在昏暗环境下目标检测性能弱的问题，提高小目标检测精度与运算速度。

技术领域

本发明属于图像识别领域，涉及一种多光谱双流网络的目标检测方法。

背景技术

目标检测(Object Detection)目前应用于各个领域，包括但不限于行人检测、车辆检测、人体姿态检测等，其目的是按照所规定的目标来满足一定的业务需求。然而目前目标检测领域还存在以下问题：小目标检测不够精确，目标受遮挡影响以及光源不充足的条件下导致目标识别准确率低下等问题。为此，除了使用最常用的可见光相机外，增加一种严格对齐的红外摄像机所拍摄的红外图像，并通过多模态特征融合神经网络将这两种不同模态的信息进行深度的特征提取与融合，可以大大改善目标检测领域对于上述问题的训练精度和准确度。本发明对于现有的YOLOv5神经网络模型进行改造，使其同时对上述两种模态进行跨模态融合、学习和预测，同时双模态融合与学习模块引入改进的Swin Transformer架构。相较于传统的Transformer模块和卷积模块，它具有减少序列长度、降低计算复杂度、能够在更大的图像分辨率下运行神经网络并提高整体预测精度的优势。

发明内容

有鉴于此，本发明的目的在于提供一种多光谱双流网络的目标检测方法。

为达到上述目的，本发明提供如下技术方案：

一种多光谱双流网络的目标检测方法，该方法包括以下步骤：

S1：可见光和红外光数据经过特定的Mosaic数据增强、自适应锚框计算、自适应图片缩放过程后进入双流神经网络训练；

S2：建立基于YOLOv5的双流卷积检测网络的神经网络模型，其中Backbone采用卷积操作和基于图像堆叠方式的模态融合模块进行模态融合与特征学习，分别位于80×80×256、40×40×512、20×20×1024三处特征图大小的地方进行输出，其中前两个参数为特征图的大小，第三个参数为通道数；

S3：基于Swin Transformer基本模块加入全局平均池化和双线性插值模块组成跨模态特征融合神经网络CSFST模块，加入S2中80×80×256处的多模态特征融合模块，其中前两个参数为特征图的大小，第三个参数为通道数；

S4：输出三个不等大小的特征图进入Neck层即特征金字塔，进行特征提取，对输出的特征进行预测，并输出预测结果；

S5：在训练阶段，采用YOLO v5l预训练权重来进行初始化，并使用随机梯度下降算法来学习网络的参数；在预测阶段，使用softmax分类器获得所属类别的最终分类概率；在优化阶段，采用定位损失、分类损失、置信度损失联合优化的方式减少真实值与预测值之间的误差；不断重复S5，直到迭代次数达到设定的迭代次数时，模型训练完成，进行目标检测任务。

可选的，在所述S2中，图像堆叠方式是以通道维度进行堆叠；设输入的可见光特征图为X_V，特征图的长、宽、通道数分别为H、W、C，输入的红外光特征图为X_T，特征图的长、宽、通道数分别为H、W、C；则表示为：

F＝concat(X_V,X_T)

其中concat表示特征图叠加操作，融合特征图F的长、宽、通道数分别为H、W、2C。