[发明专利]基于生成对抗网络和超分辨率网络的多模态图像融合方法

说明书

本发明涉及图像融合方法，尤其涉及多模态图像融合方法，具体为基于生成对抗网络和超分辨率的多模态图像融合方法，本方法按如下步骤进行：设计并构建生成对抗网络，网络结构采用构思的深度残差神经网络，通过生成器和判别器的动态平衡训练得到一个生成模型；构建基于卷积层的超分辨率网络；将多波段/多模态源图像输入生成模型，得到初步融合图像；再将图像输入到训练好的超分辨率网络，得到高质量的最终融合图像。本方法实现了多波段/多模态图像端到端的神经网络融合，避免了依据先验知识进行图像多尺度多方向分解和融合规则设计的困难，实现了网络自适应融合。

技术领域

本发明涉及图像融合方法，尤其涉及多模态图像融合方法，具体为基于生成对抗网络和超分辨率网络的多模态图像融合方法。

背景技术

多波段/多模态成像系统在军事、医疗、工业检测等众多领域已有广泛应用，图像融合是这些系统实现高精度智能探测的关键技术之一。目前的图像融合技术大致可分为空域和频域两大类。前者算法简单、速度快，在硬件系统中有较多运用，但融合效果有限；后者通过对原图像的多尺度多方向分解结果分别采用更具针对性的融合规则，可提高融合效果，是当前的研究热点，但往往算法复杂、依赖于人工参数或先验知识、泛化能力差，不能自适应融合，难以满足复杂场景的探测需要。

新近有研究探索了基于深度学习的图像融合方法，深度学习在一定程度上有效解决了传统方法面临的问题，如文献“Multi-focus image fusion with a deepconvolutional neural network”(Information Fusion 36(2017)191-207)用卷积神经网络提取源图像特征，将活动水平测量和融合规则一并用网络实现；文献“基于深度堆叠卷积神经网络的图像融合”(计算机学报Vol.40No.11)利用堆叠神经网络作为高低频分解的分类器，将网络输出的高低频图像通过不同的融合规则融合。这些方法虽然提高了计算速率，减少了人为设定规则和参数的复杂性工作，但都只是实现了融合过程中某一局部算法的自适应，如自适应获取特征图或者分解重构滤波器等，并没有实现真正的自适应融合，而且以同步融合两幅图像为对象，不能满足多波段/多模态探测的需要。

为此，需要一种基于神经网络的方法，以解决多模态图像的自适应融合问题。

发明内容

本发明为了解决多模态图像的自适应融合问题，提出了基于生成对抗网络和超分辨率网络的多模态图像融合方法。

本发明是采用如下的技术方案实现的：基于生成对抗网络和超分辨率网络的多模态图像融合方法，包括以下步骤：

设计并构建生成对抗网络:生成对抗网络分为生成器和判别器两个模型；生成器由三个卷积层和七个残差块构成，其中每个残差块包含两层卷积，每个卷积层后进行修正线性单元(Rectified Linear Unit，ReLU)非线性化；判别器由六个卷积层、一个标准的三层残差单元块和一个全连接构成，每个卷积层除了输入层外都进行BatchNorm(BN)数据归一化操作，BN后，使用LeakyReLU(LReLU)激活函数提升网络非线性程度；

构建超分辨率网络：超分辨率网络由三层卷积构成，第一层卷积提取特征图，第二层卷积实现特征维度的非线性映射，第三层卷积实现重构；

利用生成对抗网络，输入多模态源图像，经过网络自适应特征提取和自适应融合，生成初步融合图像；

将初步融合图像输入超分辨率网络，输出高质量的最终融合图像。