[发明专利]基于双流生成器深度卷积对抗生成网络的遥感图像上色方法

说明书

本发明属于遥感图像处理技术领域，公开了基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，构建双流生成器深度卷积对抗生成网络，该网络包括生成器、后融合模块、判别器，所述生成器由两条具有不同尺度的U‑NET结构的生成网络组成；一条是原始尺度的生成网络，另一条是宏观尺度的生成网络，将两个尺度生成特征图进行后融合，得到最终的生成图像；将生成图像与对应的真实图像输入判别器，通过生成器与判别器持续的训练对抗，来生成与真实图像更为相近的着色图片。通过本发明缓解上色中的不适定问题，且能获得高质量的遥感图像着色图片。

技术领域

本发明属于遥感图像处理技术领域，特别涉及基于双流生成器深度卷积对抗生成网络的遥感图像上色方法。

背景技术

随着深层生成模型的发展，图像上色技术得到了广泛的研究，在接近人类感知方面取得了很大的进展。目前，对遥感图像进行上色的需求是迫切的，但是由于遥感设备的局限性，以及受到空气中的烟雾或其他噪声的影响使捕获的遥感图像出现色度对比度低，色度不饱和的问题。遥感图像上色的最大挑战是在极其不平衡的空间结构背景下保持空间一致性以及获得生动的着色信息。前者需要对大规模分布进行稳定的学习，后者需要对局部像素进行专门的建模。

目前实现遥感图像着色的方法是使用深度卷积生成对抗网络，生成器使用单尺度的U-NET结构用于遥感图像的生成，生成的图像与真实图像作为判别器的输入。通过生成器和判别器互相博弈，使得网络生成的彩色图片越来越逼近真实图片。除此之外，目前也存在根据特征金字塔网络(FPN)设计的多尺度输出图像级联求和的网络。其中每个输出都被监督为一个独立的鉴别器，通过不同尺度的鉴别器对颜色输出进行监督。

目前基于深度卷积生成对抗网络的着色方法，只在单一尺度提取特征生成图片，但是遥感图像的物体分布是不平衡的，例如，总是有微观物体(汽车或船只)被宏观连续纹理区域包围，这使得单尺度的上色容易在一致空间中产生突变像素，使得生成图像真实性差。而以往通过引入多尺度判别器来解决上述问题的方法，只优化了Jensen-Shannon散度的测量，而不能对宏观尺度空间稳定性施加很强的约束。

发明内容

针对现有技术存在的不足，本发明提供一种基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，提出一种双流生成器深度卷积对抗生成网络，该网络包括生成器、后融合模块、判别器，所述生成器由两条具有不同尺度的U-NET结构的生成网络组成，以保持宏观尺度的空间一致性和微观对象细节。在双流深度卷积生成对抗网络中，宏观尺度分布可以作为约束微观尺度生成模型的先验，以缓解上色中的不适定问题。另外，选择两个尺度对应元素相加的策略实现不同尺度融合，从获得高质量的遥感图像着色图片。

为了解决上述技术问题，本发明采用的技术方案是：

基于双流生成器深度卷积对抗生成网络的遥感图像上色方法，包括以下步骤：

一、构建双流生成器深度卷积对抗生成网络，该网络包括生成器、后融合模块、判别器，所述生成器由两条具有不同尺度的U-NET结构的生成网络组成；

一条是原始尺度的生成网络，以遥感图像原始灰度图作为输入，输出原始图片相同尺寸的特征图；另一条是宏观尺度的生成网络，先对灰度图进行平均池化得到大小为原始灰度图一半尺寸，再将其输入U-NET生成网络，生成尺寸为原始灰度图一半的小尺度特征图，将该小尺度特征图进行上采样，得到原始大小的特征图；

最终将两个尺度生成特征图输入后融合模块进行一个后融合，得到最终的生成图像；

将生成图像与对应的真实图像输入判别器，使判别器正确判别生成图像与真实图像，通过生成器与判别器博弈的方法优化网络；

二、将原始图像输入所述双流生成器深度卷积对抗生成网络，通过生成器与判别器持续的训练对抗，来生成与真实图像更为相近的着色图片。