[发明专利]一种基于改进YOLO模型的多模态行人检测方法

权利要求书

1.一种基于改进YOLO模型的多模态行人检测方法，其特征在于，包括如下步骤：

1)获得模型检测和训练所需的多模态数据；

2)使用两个并行的Darknet53作为特征提取网络，分别提取可见光和红外光图片的多尺度特征；

3)对步骤2)中提取到的可见光特征和红外光特征进行模态加权融合，获得加权后的多模态融合特征图；

4)对步骤3)中获得的多模态融合特征图引入包含通道注意力模块和空间注意力模块的CBAM注意力机制；

5)重复步骤3)和步骤4)，对步骤2)中提取到的每个尺度的特征图都进行模态加权融合并引入CBAM注意力机制，获得多尺度的注意力加权融合特征图；

6)对步骤5)中获得的多尺度注意力加权融合特征图上采样到同样尺度，并依次级联并送入YOLO层中；

7)每次选取一一对应的可见光-红外光图片对作为输入，进行训练，使用Adam优化算法迭代更新神经网络权重，在训练过程中计算损失函数，选择损失值最小的保存为最终的模型；

8)使用步骤7)中保存的最终的模型对测试集中的图片进行检测，获得检测结果。

2.根据权利要求1所述的一种基于改进YOLO模型的多模态行人检测方法，其特征在于，所述的步骤1)中，对包含一一对应的可见光-红外光图片的视频数据每隔相同帧数采样一次，并按照1:1划分为训练集和测试集；训练时对图像对进行随机水平翻转。

3.根据权利要求1所述的一种基于改进YOLO模型的多模态行人检测方法，其特征在于，所述的步骤2)中，Darknet53包括5个残差模块{Block1,Block2,Block3,Block4,Block5}，每个残差模块记为Resn，分别为Res1、Res2、Res8、Res8、Res4，这些残差模块包含的残差单元个数分别为1、2、8、8、4个，每个残差单元中包含两个网络基本单元和一个残差层；每个网络基本单元包括卷积层、批归一化层、LeakyReLU激活函数。

4.根据权利要求1所述的一种基于改进YOLO模型的多模态行人检测方法，其特征在于，所提取可见光图片的多尺度特征的部分记为Darknet-V，所提取红外光图片的多尺度特征的部分记为Darknet-I；对于大小一致的输入图片，特征提取网络的两个分支分别在Block3、Block4、Block5后获得三个多尺度特征图，可见光模态的特征图记为{V₁，V₂，V₃}，红外光模态的特征图记为{I₁，I₂，I₃}。