[发明专利]一种基于深度神经网络的多源遥感图像融合方法

权利要求书

1.一种基于深度神经网络的多源遥感图像融合方法，其特征在于，包括如下步骤：

步骤1：数据准备，获取源图像并进行噪声波段滤除和数据拉伸，以高空间分辨率的高光谱图像HR-HSI作为训练集中的参考图像，同时制作最低空间分辨率的高光谱图像HSI，次低空间分辨率的多光谱图像MSI和最高空间分辨率的全色图像PAN组成的训练集输入数据；

步骤2：建立数据的物理联系，针对三者输入图像与目标输出图像间的映射关系构建目标函数：

X＝↑H+f_M(h_M(↑M))+f_P(h_P(P)) (1)

其中，X为融合图像，↑H，↑M分别表示将HSI与MSI空间上采样至融合图像同样大小尺寸，h_M，h_P表示MSI，PAN空间结构特征提取操作，f_M，f_P表示将MSI,PAN空间结构特征映射至HSI操作；

步骤3：网络设计与搭建，依据步骤2中的物理联系，构建包含3个模块的深度神经网络，其中，第一个模块对PAN和MSI进行高频结构特征信息提取，对应公式(1)中h_M，h_P；第二个模块将已获取的空间结构特征与HSI光谱特征进行融合，对应公式(1)中f_M，f_P；基于融合后的特征，第三个模块完成图像重构；

步骤4：网络训练与优化，网络加载步骤1中已处理的训练集，并通过参数前向传播得到网络在输入数据下的融合图像，根据加载对应的参考图像和设计的训练损失函数，计算两者间的损失值，并通过梯度反向传播优化算法更新网络参数，使得融合图像不断接近参考图像；参数优化过程持续迭代，直至网络训练达到预设迭代次数时终止，得到该参数状态下的融合模型；

步骤5：网络推理与测试，加载步骤4中训练后的融合模型，加载同步骤1相同处理流程的HSI,MSI和PAN数据作为融合模型的输入，此时仅通过网络模型的前向传播计算，即可得到最终的高空间分辨率的高光谱融合图像。

2.如权利要求1所述的一种基于深度神经网络的多源遥感图像融合方法，其特征在于：步骤1的具体实现方式如下；

步骤1.1，确定参考图像HR-HSI与HSI的空间分辨率之间的倍值，对HR-HSI进行空间模糊与下采样处理，得到HIS；具体的，使用均值为0方差为2的8×8高斯卷积核进行模糊与空间下采样处理，下采样倍值即HR-HSI与HSI的空间分辨率之间的倍值；

步骤1.2，确定参考图像HR-HSI与MSI的空间分辨率之间的倍值，第一步，与步骤1.1的过程相同，对HR-HSI进行空间模糊与下采样，下采样倍值即HR-HSI与MSI的空间分辨率之间的倍值；第二步进行光谱下采样，依据各传感器固有的光谱响应曲线将高光谱段图像映射至R,G,B,近红外波段表示，得到MSI；

步骤1.3，依据传感器固有的光谱响应曲线，将参考图像HR-HSI映射至单波段全色图像表示，得到PAN。