[发明专利]基于深度神经网络的全色图像与多光谱图像融合的方法

说明书

技术领域

本发明属于遥感图像处理技术领域，具体涉及基于深度神经网络的高分辨的全色图像和多光谱图像融合方法。

背景技术

地球观测卫星通常提供两种不同类型的图像，即高空间和低光谱分辨的全色图像与低空间和高光谱分辨的多光谱图像。目前，由于当前卫星传感器的技术限制，一般很难直接获取高空间和高光谱分辨的多光谱图像。因此，通过一种将这两种不同类型的图像进行信息融合的技术来获取高空间和高光谱分辨的多光谱图像无疑是更好的选择。

多光谱图像融合的方法就是将高空间分辨的全色图像与低空间分辨的多光谱图像进行融合，得到融合后的图像不仅具有高空间分辨率，而且能很好地保留光谱信息。具有代表性的多光谱图像融合的方法有：IHS(Intensity-Hue-Saturation)、自适应的IHS和主成分分析(Principal Component Analysis,PCA)等元素替换的方法，以及基于多分辨分析的小波变换的方法。这些方法具有易于实现、速度快等特点，但是经这些方法融合后的图像只能在空间分辨率和光谱分辨率之间进行权衡。随后，李树涛等人在“S.Li and B.Yang,“A new pan-sharpening method using a compressed sensing technique,”IEEE Trans.Geosci.Remote Sens.,vol.49,no.2,pp.738–746,Feb.2011.”中提出了一种基于压缩感知的多光谱图像融合的方法，该方法利用稀疏性先验信息以及由训练的高空间分辨的多光谱图像库学习得到的字典，进行图像融合并取得了较好的结果。然而，该方法需要收集大量的同类传感器拍摄的高分辨多光谱图像，通常这类图像是很难获取的。朱晓香等人在“Zhu X X,Bamler R,"A sparse image fusion algorithm with application to pan-sharpening,"IEEE Transactions on Geoscience and Remote Sensing,vol.51,no.5,pp.2827-2836,May.2013.”提出了一种利用全色图像训练字典的稀疏方法进行图像融合，使该方法更具有实用性。刘德红提出了一种利用小波字典的全色图像与多光谱图像融合的方法(Method for Pan-Sharpening Panchromatic and Multispectral Images Using Wavelet Dictionaries，公开号：US8699790 B2)。这类方法虽然能较好地重构出高分辨的多光谱图像，但是它们只共享一个浅层的线性结构，不能对遥感图像复杂的结构信息进行非线性描述。

发明内容

为了克服现有技术存在的问题，本发明提供一种基于深度神经网络的全色图像与多光谱图像融合的方法，该方法采用了深度学习的方法，能够充分利用非线性的神经网络刻画多光谱图像复杂的结构信息，从而使融合后的多光谱图像不仅具有高空间分辨率，而且能很好地保留了其光谱信息。

一种基于深度神经网络的全色图像与多光谱图像融合的方法，具体步骤如下：

步骤1，构建高分辨与低分辨图像块对的训练集该训练集的图像块和分别采样于已知的高分辨全色图像和由已知低分辨多光谱图像线性组合而成的低分辨全色图像；

步骤2，利用改进的稀疏去噪自编码器对深度神经网络的第一层参数进行与训练；

步骤3，利用改进的稀疏去噪自编码器对神经网络进行逐层的预训练；

步骤4，利用后向传播算法对经过预训练的深度神经网络的参数进行微调；

步骤5，根据已知的低空间分辨的多光谱图像Z_ms，利用该深度神经网络重构出高分辨的多光谱图像

本发明与现有的技术相比，具有以下优点：

(1)本发明充分地利用了神经网络能很好地刻画变量之间非线性关系的特点，通过具有多个隐含层的深度神经网络增加了对图像之间复杂变换的表达能力，从而提高融合的高分辨多光谱图像的质量；

(2)本发明中训练集数据的生成不需要采集其它训练图像，仅采样于高分辨全色图像以及由低分辨多光谱图像每个波段加权平均组成的低分辨全色图像，由于本发明中低分辨全色图像的生成，不需要考虑从高分辨全色图像到低分辨全色图像的降质过程中的模糊核信息，从而使本发明更具有实用价值；

(3)本发明与现有的图像融合方法相比，经本发明融合得到的高分辨多光谱图像不仅具有高空间分辨率，还能很好地保留其光谱信息。