[发明专利]基于双流生成器深度卷积对抗生成网络的遥感图像上色方法

权利要求书

1.基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，其特征在于，包括以下步骤：

一、构建双流生成器深度卷积对抗生成网络，该网络包括生成器、后融合模块、判别器，所述生成器由两条具有不同尺度的U-NET结构的生成网络组成；

一条是原始尺度的生成网络，以遥感图像原始灰度图作为输入，输出原始图片相同尺寸的特征图；另一条是宏观尺度的生成网络，先对灰度图进行平均池化得到大小为原始灰度图一半尺寸，再将其输入U-NET生成网络，生成尺寸为原始灰度图一半的小尺度特征图，将该小尺度特征图进行上采样，得到原始大小的特征图；

最终将两个尺度生成特征图输入后融合模块进行一个后融合，得到最终的生成图像；

将生成图像与对应的真实图像输入判别器，使判别器正确判别生成图像与真实图像，通过生成器与判别器博弈的方法优化网络；

二、将原始图像输入所述双流生成器深度卷积对抗生成网络，通过生成器与判别器持续的训练对抗，来生成与真实图像更为相近的着色图片。

2.根据权利要求1所述的基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，其特征在于，生成网络首先对输入图像进行编码操作，不断提取特征，直到特征图可以足够提取高维特征时，再进行解码操作，使用反卷积的方式进行特征恢复；将编码过程的每层加到解码过程中的对应层实现跳跃连接，最终输出提取出的特征图。

3.根据权利要求1所述的基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，其特征在于，步骤一中，采用双三次线性插值的方法对小尺度生成特征进行上采样，通过在现有像素之间添加新像素来放大图像，得到原始大小的特征图；

要添加的像素的位置是(x，y)，那么这一点的像素大小根据其周围的16个点在水平和垂直方向上计算的；利用Bicubic构造函数计算周围16个点对(x，y)的影响系数，影响系数如以下公式所示：

4.根据权利要求1所述的基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，其特征在于，两个尺度生成的特征图在后融合时，选择两个尺度对应元素相加的策略实现不同尺度融合，获得高质量的遥感图像着色图片。

5.根据权利要求4所述的基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，其特征在于，两个尺度生成的特征图后融合时，将宏观尺度生成特征图经过上采样、卷积操作，获得与原始图像相同通道数量和尺寸大小的特征图，然后将其与另一条生成网络生成的原始尺度生成特征图对应通道对应元素相加，将获得的特征图再进行卷积操作，生成最终的彩色遥感图像。

6.根据权利要求5所述的基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，其特征在于，首先将宏观尺度生成特征图上采样为64通道，256*256大小的特征图，再将其进行卷积操作获得3通道的特征图；然后将其与另一条生成网络生成的原始尺度特征图对应通道对应元素相加得到256*256大小，通道为3的特征图；最后对这个特征图进行卷积核为1*1，步长为1的卷积，从而生成最终的彩色遥感图像。

7.根据权利要求1-6任一项所述的基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，其特征在于，通过生成器与判别器博弈的方法优化网络时，首先，进行生成器G训练，此时判别器D固定不动，训练生成器G时，有以下公式：

f₂＝λ||G(x₁，x₂)-y)||₁ (2)

式中，x₁为第一条线路的样本，x₂为第二条线路的样本，G(x₁，x₂)为生成的图像样本，y为原始图像，D(G(x₁,x₂))表示判别器D判别生成图像是真实图像的概率；f₁是判别器判别生成图片是假图时给的分数；当训练生成器G时，希望生成的图片越真越好，因此，判别器D给生成图片的打分越高越好，所以f₁越小越好；

f₂是L1范数损失函数，它是把生成图像与真实图像对应像素值的绝对差值的总和最小化，λ为超参数；

由此，得到其中一个目标函数，如下公式(3)所示：

为生成器G的损失，该目标函数是最小化判别器D给生成图片的得分和最小化生成图片和真实图片的对应像素差值；

然后，进行判别器D训练，此时生成器G固定不动，训练判别器D时，有以下公式：

式中，D(y∣(x₁,x₂))表示判别器D将真实图像y识别为真样本的概率，f₃是判别器D给真实图像y的分数；f₄是判别器D给生成图片的分数的经过一些运算的相反数，这里期望判别器D给生成图片低分，所以它的相反数应该是高分；

由此，得到一个目标函数，使f3和f4最大化，如下公式(6)所示：

J^(D)为判别器D的损失，该目标函数是最大化判别器D给真实图片的得分、最小化判别器D给生成图片的得分。