[发明专利]一种基于Cascade-GAN的多波段红外图像融合方法

权利要求书

1.一种基于Cascade-GAN的多波段红外图像融合方法，其特征在于，所述方法包括以下步骤：

S1、数据集准备：通过红外传感器分别采集相同场景下短波红外、中波红外、长波红外图像，并对图像进行加噪处理，其中原始图像和加噪后的图像分别保存在Image文件夹和Noise文件夹下；将相同场景下的原始红外图像及加噪后图像对应的长波、中波、短波分别沿通道进行连接，作为训练数据集输入Cascade-GAN进行无监督学习；

S2、DnGAN网络设计：将原始图像与加噪后的图像输入DnGAN，DnGAN包括生成器G_Dn和判别器D_Dn两部分，二者存在对抗博弈的关系，生成器G_Dn不断生成更接近原始图像的去噪图像，而判别器D_Dn确定原始图像和生成的去噪图像之间的差异，最终的目标是建立一个去噪生成网络，使其能够生成与原始无噪图像无法区分的去噪图像；

S3、FuGAN网络设计：将去噪图像输入融合生成对抗网络FuGAN，同样是以生成对抗网络作为基础网络，通过生成器G_Fu与判别器D_Fu的对抗博弈实现高质量融合图像的输出；生成器G_Fu通过编码器提取图像特征，通过解码器重建输出单通道融合图像；判别器D_Fu对其输出的图像分别根据三种波段的单通道红外源图像进行鉴别，输出对应的判别概率向量，作为反馈来驱动生成器G_Fu学习输入图像的数据分布进而进行融合，直到判别器D_Fu无法对生成器G_Fu输出的图像判别真伪；

S4、训练策略：首先，利用在无噪声的环境下训练好的网络来初始化融合生成对抗网络FuGAN，然后以端到端的方式训练两个网络的级联，同时在这过程确定FuGAN的权值；去噪生成对抗网络DnGAN中的权值也通过后续网络的误差反向传播来更新。

2.根据权利要求1所述的一种基于Cascade-GAN的多波段红外图像融合方法，其特征在于：所述步骤S2中，生成器G_Dn主要由编码器和解码器两大部分组成，并引入上下采样对操作；通过编码器提取图像的特征，并对特征进行下采样操作，获得不同尺度的特征图，然后再在该尺度上进行一次特征提取操作，最终通过解码器实现两个尺度的特征融合并实现去噪图像的重建；通过下采样和上采样操作对，实现特征图的缩放，实现卷积核感受野的变化，从而利用更多的上下文信息，以此提高去噪效果。

3.根据权利要求2所述的一种基于Cascade-GAN的多波段红外图像融合方法，其特征在于：所示编码器由4个CNN组成，4个CNN从上到下分别有3×3、1×1、3×3和1×1大小的128、32、32、128个核；为了缓解梯度的消失，弥补特征的损失，重用之前计算的特征，引入DenseNet，并以前馈的方式在每一层和所有层之间建立短的直接连接；所示解码器同样为4层CNN，与编码器的结构相似，只是四个卷积层的内核数分别为256、64、64和256；所有卷积层的步数设为1；为了避免爆炸/消失的梯度和加速训练，应用批归一化；采用ReLU激活函数加快收敛速度，避免梯度稀疏；下采样采用max pooling，步长为2；上采样操作通过4×4核的反卷积来实现，目的是将feature map扩展到与之前尺度相同的空间大小。

4.根据权利要求2所述的一种基于Cascade-GAN的多波段红外图像融合方法，其特征在于：所述判别器D_Dn本质上是一个二分类器，在第一层到第三层的卷积层中使用3×3卷积内核和ReLU激活函数，从输入图像中提取特征映射，然后对其进行分类；所有卷积层的步幅设为2；设置最后一层利用tanh激活函数生成一个标量，该标量表示输入数据来源于原始图像而非G_Dn生成的假图像的概率。