[发明专利]基于生成对抗网络和超分辨率网络的多模态图像融合方法

摘要

本发明涉及图像融合方法，尤其涉及多模态图像融合方法，具体为基于生成对抗网络和超分辨率的多模态图像融合方法，本方法按如下步骤进行：设计并构建生成对抗网络，网络结构采用构思的深度残差神经网络，通过生成器和判别器的动态平衡训练得到一个生成模型；构建基于卷积层的超分辨率网络；将多波段/多模态源图像输入生成模型，得到初步融合图像；再将图像输入到训练好的超分辨率网络，得到高质量的最终融合图像。本方法实现了多波段/多模态图像端到端的神经网络融合，避免了依据先验知识进行图像多尺度多方向分解和融合规则设计的困难，实现了网络自适应融合。

主权项

1.基于生成对抗网络和超分辨率网络的多模态图像融合方法，其特征在于包括以下步骤：设计并构建生成对抗网络:生成对抗网络分为生成器和判别器两个模型，生成器由三个卷积层和七个残差块构成，其中每个残差块包含两层卷积；每个卷积层后进行修正线性单元非线性化；判别器由六个卷积层、一个标准的三层残差单元块和一个全连接构成，每个卷积层除了输入层外都进行BatchNorm数据归一化操作，归一化操作后使用LeakyReLU激活函数提升网络非线性程度；构建超分辨率网络：超分辨率网络由三层卷积构成，第一层卷积提取特征图，第二层卷积实现特征维度的非线性映射，第三层卷积实现重构；利用生成对抗网络，输入多模态源图像，经过网络自适应特征提取和自适应融合，生成初步融合图像；将初步融合图像输入超分辨率网络，输出高质量的最终融合图像。