[发明专利]一种基于生成对抗网络的多光谱图像与全色图像融合方法

说明书

本发明公开了一种基于生成对抗网络的多光谱图像与全色图像融合方法。其步骤包括：首先收集多光谱图像与全色图像数据集，对图像进行配准处理，并将数据集分为训练集与测试集；然后构造特征提取网络，输入为全色图像；其次构造生成对抗网络，利用Wassertein距离进行优化判别器，输入多光谱图像，输出融合的高分辨率多光谱图像，最后训练生成对抗网络，并利用测试集进行测试。尤其是，它不需要额外的处理流程，是一种端对端的实现多光谱图像融合的方法。而且，该方法以大量数据为驱动学习的融合映射关系，对于大部分不同数据集的图像，该方法都能使融合后图像在空间细节信息注入的同时能更好的保持原多光谱图像的光谱信息。

技术领域

本发明涉及一种遥感图像处理方法，具体涉及一种基于生成对抗网络的图像融合方法。

背景技术

遥感卫星利用光谱传感器能够得到低空间分辨率多光谱图像和高空间分辨率的全色图像，多光谱图像具有较丰富的地物光谱信息，即含有较高的光谱分辨率，但它的空间分辨率较低，即图像含有较少的细节信息，然而，全色图像具有较高的空间分辨率，它能够充分体现地物的位置特征和边缘特征，有利于对地面物体的准确定位，但是其光谱分辨率较低；因此，关于多光谱图像与全色图像融合的研究问题引起了极大的关注；融合后的图像同时具有较高的光谱分辨率和空间分辨率，为更方便、更全面地认识环境和自然资源提供了可能；它常常被应用于测绘,目标检测,植被分类或者地物分类、天气预报及其他遥感数据应用。

传统的方法主要分为四类：基于成分替代的方法、基于多分辨率分析的方法、基于模型法、基于超分辨率的方法；基于成分替代的算法中通常将多光谱图像进行颜色空间的变换，来分离图像的空间和光谱信息，然后使用全色图像实现成分替代，对颜色空间进行逆变换得到最终的融合图像；这类方法通常提供高质量的空间细节，计算效率较高，但它们通常还会在泛锐化中引入光谱失真；常见的基于成分替代的图像融合方法有IHS变换融合方法、Brovey，GS，PCA变换融合方法等；基于多分辨率分析的算法通过对全色图像实现多分辨分层分解得到其空间细节信息，注入到多光谱图像中得到最终的融合图像；这种方法不仅可以准确地从不同尺度的分解图像中提取特征，而且能够减少融合过程中的光晕和混叠伪像，但是需要较高的计算成本；常见的基于多分辨率分析的图像融合方法包括小波变换(ATWT)、拉普拉斯金字塔分解、平滑滤波器强度调制(SFIM)等方法；基于模型的算法首先是通过创建融合图像与全色/多光谱图像之间的关系模型，再对模型进行优化求解获得最终融合后的图像；基于模型的图像融合方法很好的解决了光谱的失真问题，但是模型的求解过程复杂，时间效率低；常见的模型方法包括P+XS算法、稀疏编码算法,基于先验的算法等；其中稀疏编码的方法通过构造高低分辨率字典集，学习到相应的稀疏系数，从而得到最终的融合图像；此种算法虽然能取得较为满意的融合效果，但需要大量的训练图像来生成大规模的字典；从上述方法分析来看，传统方法有框架简单的特点，实现了在一定程度上增强多光谱图像的空间分辨率，然而，往往伴随着严重的光谱失真。

最近，基于深度学习的技术，特别是卷积神经网络(CNN)，已经应用于各种研究领域，并取得了令人满意的表现；尤其使用深度卷积神经网络恢复图像质量的方法得到了成功的应用，促使遥感领域的研究人员将CNN用于多光谱融合问题；通常基于深度学习的方法是通过CNN学习相应的高与低分辨率的映射关系；其中，生成对抗网络是深度学习模型的一种，它的网络结构包括两部分：生成网络和判别网络，它们的互相博弈学习产生相当好的输出，而且它对于解决图像超分辨率的鲁棒性已经被证明。

发明内容

本发明提出了一种基于生成对抗网络的多光谱图像与全色图像融合的方法，目的是缓解传统融合方法中融合规则的局限性，处理的结果存在严重光谱失真的问题。

为了实现上述目的，本发明采用如下技术方案：

首先收集多光谱图像与全色图像数据集，对图像进行配准处理，并将数据集分为训练集与测试集；然后构建特征提取网络与生成对抗网络，利用交替迭代训练的方式训练网络模型，最后利用测试集测试网络，最终获得高分辨率多光谱图像。

本发明的具体步骤为：