[发明专利]基于生成对抗式双通道权重分配的图像融合方法及装置

权利要求书

1.一种基于生成对抗式双通道权重分配的图像融合方法，其特征在于，包括：

构建初始图像融合模型，所述初始图像融合模型包括生成器模块和孪生鉴别器模块，所述生成器模块包括伪孪生特征提取模块和特征融合模块；

获取红外图像样本和可见光图像样本，并基于所述伪孪生特征提取模块分别提取所述红外图像样本和所述可见光图像样本的特征，对应获得红外特征图和可见光特征图；

基于所述特征融合模块将所述红外特征图和所述可见光特征图进行融合，生成融合特征图；

基于所述孪生鉴别模块分别获得所述红外图像样本与所述融合特征图的第一相似度以及所述可见光图像样本与所述融合特征图的第二相似度；

基于预设的损失函数、所述第一相似度、所述第二相似度、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型进行训练，获得训练完备的目标图像融合模型；

基于所述目标图像融合模型对待融合红外图像和待融合可见光图像进行融合，获得目标融合图像。

2.根据权利要求1所述的基于生成对抗式双通道权重分配的图像融合方法，其特征在于，所述基于预设的损失函数、所述第一相似度、所述第二相似度、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型进行训练，获得训练完备的目标图像融合模型，包括：

判断所述第一相似度和所述第二相似度的差值是否小于预设差值；

当所述第一相似度和所述第二相似度的差值小于所述预设差值时，所述初始图像融合模型为所述目标图像融合模型；

当所述第一相似度和所述第二相似度的差值大于或等于所述预设差值时，基于预设的损失函数、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型继续进行训练。

3.根据权利要求1所述的基于生成对抗式双通道权重分配的图像融合方法，其特征在于，所述伪孪生特征提取模块包括红外特征提取单元和可见光特征提取单元，所述红外特征提取单元和所述可见光特征提取单元均包括一个第一特征提取卷积单元以及四个第二特征提取卷积单元，所述第一特征提取卷积单元的包括均包括卷积核为5×5的第一卷积层和第一leaky ReLU激活层，所述第二特征提取卷积单元包括卷积核为3×3的第二卷积层、批量归一化层和第二leaky ReLU激活层。

4.根据权利要求3所述的基于生成对抗式双通道权重分配的图像融合方法，其特征在于，所述特征融合模块包括第一融合卷积单元、第二融合卷积单元、第三融合卷积单元、跨连接卷积层以及融合目标融合leakyReLU激活层，所述第一融合卷积单元包括卷积核为1×1的第一融合卷积层和第一融合leakyReLU激活层，所述第二融合卷积单元包括卷积核为3×3的第二融合卷积层和第二融合leakyReLU激活层，所述第三融合卷积单元包括卷积核为1×1的第三融合卷积层和第三融合Tanh激活层，所述跨连接卷积层的卷积核为1×1。

5.根据权利要求4所述的基于生成对抗式双通道权重分配的图像融合方法，其特征在于，所述孪生鉴别模块包括红外孪生鉴别单元和可见光孪生鉴别单元，所述红外孪生鉴别单元用于确定所述红外图像样本与所述融合特征图的第一相似度，所述可见光孪生鉴别单元用于确定所述可见光图像样本与所述融合特征图的第二相似度。

6.根据权利要求5所述的基于生成对抗式双通道权重分配的图像融合方法，其特征在于，所述第一相似度为：

所述第二相似度为：

式中，S₁(I_f,I_ir)为第一相似度；S₂(I_f,I_vi)为第二相似度；I_f为融合特征图；I_ir为红外图像样本；I_vi为可见光图像样本；P为红外图像样本或可见光图像样本的特征维数；为融合特征图的第i维特征；为红外图像样本的第i维特征；为可见光图像样本的第i维特征；|| ||₂为二范数。