[发明专利]基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法

说明书

本发明涉及一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法，该方法分为模型训练和图像融合两个部分。在模型训练阶段，首先将原始清晰多光谱和全色图像降采样，得到模拟训练图像对；然后提取模拟的多光谱和全色图像的特征，利用密集连接网络融合特征，并利用跳跃连接重建高空间分辨率多光谱图像；最后利用Adam算法调整模型的参数。在图像融合阶段，首先提取多光谱和全色图像的特征，利用密集连接网络融合特征，并结合跳跃连接重建高空间分辨率多光谱图像。两个特征提取子网络负责提取输入图像对的特征，三个密集连接网络负责融合特征，跳跃连接和两个转置卷积负责重建高空间分辨率多光谱图像。

技术领域

本发明属于遥感图像处理领域，具体涉及一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法。

背景技术

遥感图像具有两个重要的性质——光谱分辨率和空间分辨率。光谱分辨率指传感器在接收目标辐射的光谱时能够分辨的最小波长范围，这个波长范围越窄，光谱分辨率就越高，传感器能够区分和识别的光谱中各波段光的能力就越强，产生的波段数目就越多，所得到的遥感图像的光谱信息就越丰富。空间分辨率指遥感图像上能够识别的两个相邻地物的最小距离，这个最小距离越小，空间分辨率就越高，遥感图像中可见的地物的细节信息就越丰富，其识别物体的能力就越强。

大多数遥感应用都需要在空间域和光谱域都具有最高分辨率的图像，然而，由于对数据存储量和传感器信噪比做出的折中，这样的图像很难通过单个传感器来获取。因此由于目前的传感器技术的限制，获取的遥感图像要么光谱分辨率较高空间分辨率较低，要么空间分辨率较高光谱分辨率较低。为了缓解这一问题，人们诉求于多传感器。许多光学地球观测卫星，如IKONOS、高分2号和WorldView-2，都携带两种光学传感器来在同一地理区域同时获取具有不同但互补特性的两种图像，其中全色传感器采集只有单个波段的高空间分辨率的图像，而多光谱传感器获取具有多个波段的低空间分辨率的图像。这两种图像分别被称为全色图像和多光谱图像。

在实际应用中，图像中的色彩信息和目标的清晰度对于图像的解译和分析都具有至关重要的作用，因此人们常常会在各种场合需要具有高空间分辨率的多光谱图像。显然，单独的多光谱图像或者全色图像往往难以满足用户的需要。于是，人们尝试使用图像融合技术将多光谱图像和全色图像独有的信息有机地结合起来，利用全色图像中的空间细节信息提升多光谱图像的空间分辨率，得到与全色图像相同的空间分辨率，又具有原来多光谱图像丰富的光谱信息的多光谱图像。这就是多光谱图像融合技术，也叫做多光谱图像全色锐化。目前将多光谱图像和全色图像融合，是得到在光谱域和空间域中都具有最高分辨率的图像的唯一方案。近年来，使用高分辨率遥感图像(例如Google Earth和Bing Maps)的商业产品日益增多，对融合的多光谱图像数据的需求不断增长。此外，多光谱和全色图像融合技术是许多遥感任务如变化检测、目标识别、图像分类等的用于图像增强的重要的预处理步骤。因此，多光谱图像融合受到了遥感界和图像处理界的广泛关注，一直在被深入研究。

本发明针对多光谱和全色图像融合问题，充分利用多光谱图像内丰富的光谱信息和全色图像内空间细节信息，结合两个卷积子网络提取多光谱和全色图像的空间细节和光谱特征，并利用密集连接网络将高层特征进行融合，在融合的特征上利用跳跃连接重构高空间分辨率的多光谱图像，提出一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法。

发明内容

要解决的技术问题

为了克服现有的多光谱和全色图像融合方法不能准确地生成高空间分辨率多光谱图像的问题，本发明提出一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法。

技术方案

一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法，其特征在于包括模型训练和图像融合两个部分；步骤如下：

第一部分：融合模型的训练