[发明专利]基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法

权利要求书

1.基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于包括以下步骤：

设计并构建生成对抗网络：生成对抗网络分为生成器和判别器两个模型；生成器包括特征提取模块、特征融合模块和图像超分辨率模块，其中特征提取模块用来提取各波段源图像的特征，特征融合模块将提取的各波段源图像的特征进行组合得到初步融合图像，最后利用图像超分辨率模块放大低分辨率初步融合图像得到高分辨率融合图像；

将重构的高分辨率融合图像和多波段低分辨率源图像对应的标签图像送入判别器进行分类识别，迭代优化生成器和判别器，经过生成器和判别器的动态博弈，使得生成器输出的融合图像和标签图像不断趋于相似，在生成器和判别器达到动态平衡时得到的生成器模型即为最终的多波段图像同步超分与融合网络模型，应用该生成器模型融合多波段低分辨率源图像；

特征提取模块由5个连续的卷积层构成，每个卷积层后跟随ReLU，为保留更多源图像特征，卷积层之间建立密集连接网络，使得每两个卷积层之间均建立连接；此模块每个卷积层使用3×3卷积核，步长为1，填充为0，卷积滤波器的数量均为32；特征融合模块首先将特征提取模块得到的各波段特征图在通道维度上连接，然后通过4个卷积层每个卷积层后跟随ReLU，卷积滤波器的数量分别为96、64、32和16，每个卷积层使用3×3卷积核，步长为1，填充为0；图像超分辨率模块由一个亚像素卷积层构成，其中scale值设置为4，输出通道数设置为1；

生成器损失函数包含四个部分：对抗损失L_adv、内容损失L_con、感知损失L_per和SSIM损失L_ssim；其中对抗损失式中G表示生成器，D表示判别器，E表示期望，x表示生成器样本输入，I_LR表示输入生成器的低分辨率源图像；内容损失其中，||·||表示F范数，y表示真实样本输入，I_HRF表示标签图像，Light(·)表示局部亮度，此方法使用窗口对高分辨率融合图像和标签图像分别进行遍历，逐窗口增强图像亮度，表示梯度，λ表示权重系数；感知损失其中，表示特征提取器；SSIM损失其中，SSIM(·)代表结构相似性运算，表示两幅图像之间的结构相似性；综上所述，最终的复合损失函数为：其中，θ_G表示生成器的训练参数，λ_adv、λ_con、λ_per和λ_ssim分别表示L_adv、L_con、L_per和L_ssim的权重；

判别器损失函数为：

其中，为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即其中α∈[0,1]，θ_D为判别器的训练参数，λ_gp为梯度惩罚项的权重。

2.根据权利要求1所述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于λ_adv＝10、λ_con＝1、λ_per＝0.0001、λ_ssim＝10和λ_gp＝10时能够平衡各个损失函数，网络训练效果达到较好效果。

3.根据权利要求1或2所述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于生成器和判别器轮流循环训练，即先训练一次生成器，再训练一次判别器，然后依次循环，直到两者达到动态平衡。

4.根据权利要求1或2所述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于网络训练时batch大小取值在16-36之间，其值大小决定误差收敛的稳定性，但是过大会占用较多内存，过小又耗费时间；学习率选用0.0002，学习率大小决定网络收敛速度快慢，过大导致网络震荡，过小又耗费更多时间，影响网络效率，因此选取0.002-0.00002之间。

5.根据权利要求1或2所述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于生成对抗网络的训练集多波段图像包含可见光图像、近红外图像和远红外图像三个波段。