[发明专利]一种基于生成对抗网络的多光谱图像与全色图像融合方法

权利要求书

1.一种基于生成对抗网络的多光谱图像与全色图像融合方法，其特征是，主要包含以下几个步骤：

步骤1、收集多光谱图像与全色图像数据集，对图像进行配准处理，并将数据集分为训练集与测试集；

步骤2、构造特征提取网络，输入为全色图像；

步骤3、构造生成器网络，并将特征提取网络的输出级联到生成器，输入为多光谱图像；

步骤4、构造判别器网络，利用Wassertein距离进行优化；

步骤5、训练生成对抗网络，利用测试集进行测试；

所述步骤1)收集多光谱图像与全色图像数据集，对图像进行配准处理，并将数据集分为训练集与测试集，分为以下几个步骤：

2.1)选取QuickBird，WorldView-2，WorldView-4，Pleiades-1中的多光谱图像与全色图像作为数据集，其中QuickBird卫星捕获的多光谱图像和全色图像的空间分辨率为2.88m和0.72m；WorldView-2卫星提供空间分辨率为2m的8波段多光谱图像和空间分辨率为0.5m的全色图像；WorldView-4提供空间分辨率为1.24m的4波段多光谱图像和空间分辨率为0.3m的全色图像；Pleiades-1卫星提供空间分辨率为2m的4个波段的多光谱图像和空间分辨率为0.5m的全色图像；

2.2)利用ENVI软件分别对多光谱图像与全色图像进行配准处理，为了让全色图像和多光谱图像精确配准，对全色图像选择控制点，并指导选取多光谱图像控制点，分别进行正射校正；

2.3)为了缩短训练时间，增大数据集，利用ENVI软件将多光谱图像剪裁大小为的图像块，全色图像在相应位置剪裁大小为256×256的图像块；

2.4)为了制作成对的数据集，将多光谱图像利用二次插值算法上采样四倍，保持与全色图像大小一致，原始多光谱图像作为评价的真实参考图像；

2.5)考虑到不同卫星获得的图像具有不同的特征，分别为每个卫星准备网络训练集；每组中的样本由从相应卫星随机抽样的8500个补丁组成，其中6000个补丁用于训练，而其余的2500补丁用于验证模型，每个补丁的大小为256×256，对应全色图像大小为1024×1024；测试图像包含四个波段和八个波段；

所述步骤2)构造特征提取网络，输入为全色图像；构造特征提取网络，输入大小为256×256的全色图像，网络设计了低频特征提取网络，高频特征提取网络，低频特征提取网络结构采用一个卷积层和一个反子像素层和两个卷积块，每一层卷积块包括一个卷积核数量为64，大小为7×7的卷积层和一个ReLU激活层，低频特征提取过程是将低分辨率图像输入到生成网络，然后经过卷积和反向子像素层处理进行特征处理，最后生成图像结构特征；高频特征提取网络需要大的接收性引导和多尺度特征学习来获得判别性表示；因此，采用四个精细特征提取块进一步提取特征，构建精细特征提取块模块来预测接收场并提取具有密集像素采样率和比例的分层特征，在每个精细特征提取块内，首先将三个扩张的3×3卷积组合成一个多尺度特征提取组，其中扩张率为1，2，4，然后以剩余方式级联三个构成精细特征提取块，精细特征提取块在保持参数个数不变的情况下不仅增大了卷积核的感受野，而且丰富了卷积的多样性，从而形成了具有不同接收区域和扩张率的卷积集合，精细特征提取块学到的高度辨别特征对整体融合结果是有益的。

2.如权利要求1所述的一种基于生成对抗网络的多光谱图像与全色图像融合方法，其特征是，所述步骤3)构造生成器网络，并将特征提取网络的输出级联到生成器，输入是多光谱图像，为以下几个步骤：

4.1)构建生成器网络，生成器试图将输入多光谱图像变换为于地面实况的高空间分辨率图像，生成网络分为三个功能阶段进行构建，包括：特征提取阶段，融合阶段和重建阶段；对于特征提取阶段，采用与特征提取网络前三层相同的结构；融合阶段采用两组精细特征提取块与融合块交替连联，一层融合块组成，其中每个融合块由卷积层+激活层+卷积层，残差跳跃组成；重建阶段由一层卷积层，一层激活层，一层子卷积层组成；重建阶段处理的过程，首先将特征图进行非线性映射输出16个像素子通道，然后将每个通道通过线性组合方式生成一个4×4的像素区域；该区域对应于高分辨率图像的像素子块，从而将16×64×64×3的特征图像重建为256×256×3的高分辨率图像；

4.2)将全色图像特征提取网络的输出级联到生成器特征提取阶段，促使细节特征的注入多光谱图像。

3.如权利要求1所述的一种基于生成对抗网络的多光谱图像与全色图像融合方法，其特征是，所述步骤4)构造判别器，利用Wassertein距离进行优化，分为以下几个步骤：

5.1)采用交替迭代训练的方式训练生成器网络与判别器网络，其中利用Wassertein距离去衡量生成数据分布和真实数据分布之间的距离，改进的判别器和生成器的损失函数定义为：

其中Y^L为低分辨率图像，Y^H为高分辨率图像，Y^H′为真实高分辨率图像，m为批尺寸，θ为判别器参数，G表示生成器，D表示判别器；具体的网络参数设置如下：网络框架设计采用tensorflow，所有网络模型都采用小批量SGD进行训练并应用RMSProp求解器，因为RMSProp即使在高度非平稳的问题上也表现良好；对于学习率，采用分段常数衰减策略；它是在事先定义好的训练次数区间上，设置不同的学习率常数；训练所有模型，对于前20个时期的学习率为0.0001，并在接下来的20个时期内，将学习率线性衰减为0，以确保收敛；

5.2)利用测试数据集测试网络的性能，并利用无参考评价指标与全参考指标主进行评价。