[发明专利]基于级联残差生成对抗网络的SAR和光学图像双向翻译方法

说明书

本发明属遥感图像处理技术领域，涉及将SAR图像和光学图像间相互翻译的方法，尤其是一种基于级联残差生成对抗网络的SAR和光学图像双向翻译方法。本发明包括步骤：(1)训练样本严格配准；(2)图像预处理；(3)以监督学习的方式训练级联残差生成对抗网络；(4)基于监督学习的预训练网络，以非监督学习的方式迭代训练待测试样本，改善翻译结果。本发明能高效实现SAR和光学两种截然不同的传感模式的数据之间的转换，能将共同可见的信息从一种图像转换到另一种图像中，且能根据先验知识生成新的内容。本方法可用于SAR图像解译，适用于无雷达背景知识的人员。本发明可促进现有和未来SAR遥感图像存档的广泛应用，具有推广应用前景。

发明领域

本发明属遥感图像处理技术领域，涉及将SAR图像和光学图像间相互翻译的方法，具体涉及一种基于级联残差生成对抗网络的SAR和光学图像双向翻译方法。本发明中将不同分辨率、极化方式的SAR图像与光学图像之间进行转换，可用于辅助专业人员进行对SAR图像的解译。

背景技术

现有技术公开了合成孔径雷达(Synthetic Aperture Radar，SAR)具有在全天时、全天候条件下高分辨率成像的能力。作为一种先进的空间遥感技术，它在地球科学、天气变化、环境系统监测、海洋资源利用、行星探测等方面得到了广泛的应用。实践显示，尽管SAR成像技术发展迅速，但SAR图像的解译仍然存在挑战，并且随着轨道上众多雷达卫星每天都在获取大量的SAR数据，解译变得越来越迫切；有研究显示，由于其独特的成像机制和复杂的电磁波散射机理，SAR表现出与光学图像非常不同的成像特征，人类的视觉系统适用于光学图像的解译，却很难解译SAR图像；虽然SAR图像包含丰富的有关目标和场景信息，例如几何结构和材料属性，但它们只能由训练有素的专家解译，这已成为利用现有SAR图像和进一步推广SAR应用的主要障碍。

据报道，自从2012年卷积神经网络(CNN)首次被成功应用于实际的图像分类任务以来，深度学习，特别是CNN已经彻底颠覆了现有的计算机视觉领域，它将卷积层和池化层堆叠起来，通过监督学习自动提取图像的不同尺度的特征。自2014年以来，基于CNN的方法已逐渐被应用于SAR图像的解译，典型的任务包括，如自动目标识别(ATR)、地表分类、相干斑滤波、变化检测等。

相比于计算机领域中被广泛研究的两个光学图像域之间转换的图像翻译，业内认为，SAR和光学图像之间的转换问题更加复杂，其中需要涉及两种传感模式截然不同的数据，如，SAR和光学图像中的信息部分重叠、部分不同，这意味着两个传感器仅观察到部分的共同信息，而其他的信息只对一种传感器可见。本技术领域公认一个成功的翻译算法应该能够将相同的信息从一种图像转换到另一种图像中，并且在理想的情况下，根据学习到的先验知识生成新的内容。

基于现有技术的基础与现状，本申请的发明人拟提供一种将SAR图像和光学图像间相互翻译的算法，尤其一种基于级联残差生成对抗网络的SAR和光学图像双向翻译方法，所涉及的这样一个交叉模式数据的转换需要一个新颖、可调的网络方案以及大量严格配准的SAR和光学图像对作为训练数据。

发明内容

本发明的目的在于，基于现有技术的基础与现状，提供一种将SAR图像和光学图像间相互翻译的方法，尤其是一种基于级联残差生成对抗网络的SAR和光学图像双向翻译方法，本方法是能够为SAR图像中目标正确分类并着色、具有跨场景泛化能力的图像转换方法。

具体的，本发明的基于级联残差生成对抗网络的SAR和光学图像双向翻译方法，包括步骤：

(1)首先从数据集中挑选部分SAR图像和对应的光学图像，并对之严格配准；

(2)然后对所有即将使用的SAR和光学图像进行预处理，包括降噪、归一化、切片等；

(3)接着采用监督学习的方式，将严格配对的SAR和光学图像送入多尺度残差生成对抗网络中，迭代训练该模型；