[发明专利]一种联合目标检测的红外光和可见光图像融合方法

权利要求书

1.一种联合目标检测的红外光和可见光图像融合方法，其特征在于，包括以下步骤；

1)使用现有的数据集，在YOLO v5模型中加载可见光图像和图像标签文件，通过网络的数据增强、卷积层模块，同时进行损失函数的计算；根据反向传播的损失，在训练过程中按照损失减小的方向调整网络权值；在迭代多次后，损失函数趋于收敛，将此时的参数用于检测网络，得到预训练的检测网络；

2)将可见光和红外光图像输入至融合网络的输入端，图像通过特征提取网络模块和图像重建模块，进行融合网络的训练，此时预训练的检测网络用于生成检测损失，检测损失回流和融合损失共同训练融合网络；

3)融合网络输出生成的融合图像，再将其输入至检测网络进行检测网络的正式训练，得到检测网络的训练权重；完成所有步骤后，得到训练好网络参数的融合网络和检测网络。

2.根据权利要求1所述的一种联合目标检测的红外光和可见光图像融合方法，其特征在于，所述步骤1)中在前期进行预训练用于辅助后续步骤的正式训练；通过预先训练检测网络，使得检测网络的参数形成检测损失，在后面的步骤辅助融合网络的训练。

3.根据权利要求1所述的一种联合目标检测的红外光和可见光图像融合方法，其特征在于，所述步骤2)具体为：

在融合网络中加载红外光图像和可见光图像，两种图像均分别通过特征提取网络的密集网络模块、通道注意力模块；

将通过两个特征提取模块得到的图像特征经过图像重建模块后生成融合图像，融合图像与输入图像、掩码信息(mask)按照融合损失函数公式计算出融合损失；同时将输出的融合图像加载至检测网络，经预训练得到参数后的检测网络将检测损失回流至融合网络，融合损失函数和检测损失函数共同指导融合网络的训练，过程如下：

按照反向传播的融合损失和检测损失，融合网络在训练过程中按照两类损失减小的方向更新网络权值，在迭代多次后，两类损失函数趋于收敛，此时的参数作为融合网络参数，得到训练好的红外光和可见光图像融合网络。

4.根据权利要求3所述的一种联合目标检测的红外光和可见光图像融合方法，其特征在于，所述红外光图像和可见光图像融合网络的公式表示：

{F_ir,F_vi}＝{E_F(I_ir),E_F(I_vi)}

I_f＝R_I(C(F_ir,F_vi))

I_ir,I_vi为输入的红外光和可见光图像，E_F为特征提取网络，F_ir,F_vi为提取后的红外光和可见光图像特征，R_I为图像重建模块，C为特征拼接，I_f为输出融合图像。

5.根据权利要求3所述的一种联合目标检测的红外光和可见光图像融合方法，其特征在于，所述融合网络的训练部分，使用了融合损失函数和检测损失函数；

其中融合损失函数包含像素损失和梯度损失两部分，像素损失限制了像素融合图像的强度与源图像一致，而梯度损失迫使融合图像包含更详细的信息；

所述融合损失函数通过从红外光图像中提取的mask信息，在损失函数的限制下，融合图像的信息可以被定义为下式：

I_result＝I_mask·I_ir+(1-I_mask)·I_vi

其中I_result为融合图像，I_mask为从红外光源图像提取的mask信息，I_ir为红外光源图像，I_vi为可见光源图像，在训练阶段，目标检测网络的检测损失回流到融合网络，和融合损失共同训练融合网络，使融合网络联合检测网络，得到更适应目标检测的红外光和可见光融合网络。