[发明专利]基于级联残差生成对抗网络的SAR和光学图像双向翻译方法

权利要求书

1.基于级联残差生成对抗网络的SAR和光学图像双向翻译方法，其特征在于，其包括步骤：

(1)从数据集中挑选部分SAR图像和对应的光学图像，并对之严格配准；

(2)对所有将使用的SAR和光学图像预处理，包括降噪、归一化和切片；

(3)采用监督学习的方式，将严格配对的SAR和光学图像送入多尺度残差生成对抗网络中，迭代训练该模型；

(4)采用非监督学习的方式，利用拓展数据集中非配对的光学或SAR图像，迭代训练待测试的图像，改善翻译结果；

所述的多尺度残差生成对抗网络，基于U-Net网络结构，主体添加了skip connections的encoder-decoder结构，并在此基础上添加输入到decoder中间各层的连接；

所述的监督学习，是指馈送到网络中的训练样本是严格配对的，翻译得到的图像有对应的真值逐像素地对比，有利于目标空间位置的对应和网络的稳定训练；

所述的非监督学习，是指基于少量严格配对样本预训练的级联残差对抗网络。

2.根据权利要求1所述的方法，其特征在于，所述的多尺度残差生成对抗网络，主要包括，(1a)网络结构基于U-Net，主体添加skip connections的encoder-decoder结构，能规避自编码器的信息瓶颈导致的信息丢失；白包括，将输入根据解码器中特征图的尺度相应地降采样，并将降采样后的图像直接跳连接到解码器的各个特征图中，由此鼓励网络中各个尺度的特征图学习到与输入之间的差距，该网络等效于学习输入与输出之间差距的残差网络；残差的加入可以消除训练解码器过程中可能出现的梯度消失的问题；

(1b)损失函数基于Pix2Pix的网络，鉴别器的损失函数满足：

其中当i＝0，1时，p_data(i)分别表示真实光学和SAR图像的分布，表示x服从p_data(i)分布，表示z服从p_data(j)分布。z表示输入SAR(或光学)图像，T(z)表示翻译的光学(或SAR)图像，x表示对应的真实光学(或SAR)图像，D(□)表示鉴别器的输出概率图，对于鉴别器，最小化L(D)等同于将x分类为1，将T(z)分类为0；

遵循对抗原则，翻译器的损失函数是

其中L_GAN(T)是两个翻译器的loss总和。跟鉴别器的目标相反，翻译器希望生成足够真实的图像，以欺骗鉴别器将它们分类为1；

对抗损失函数辅以传统的loss训练，如L1或L2 loss；额外的衡量翻译图像T(z)和真实图像x之间距离的L1范数的loss用于训练翻译器；

将上面两个等式加权组合在一起，得到翻译器的最终的损失函数L(T)

L(T)＝L_GAN(T)+βL_L1(T) (公式四)

L(T)是两个翻译器的目标函数，它们的参数同时更新；两个鉴别器分别有一个损失函数L(D)，且被分别训练；

(1c)训练过程，自适应矩估计(Adaptive Moment Estimation，Adam)训练算法用于同时训练两个翻译器/鉴别器，遵循GAN训练策略，一次迭代包括以下步骤：

a)前向传播——首先，随机初始化一对翻译器和一对鉴别器，然后一小批SAR图像被送入翻译器A，生成假的光学图像，同时一小批光学图像被送到翻译器B，生成假的SAR图像，继而，将真假光学图像相继送到同一个鉴别器A，分别生成两个概率图，真假SAR图像则被送到鉴别器B，也分别生成两张概率图；

b)后向传播——比较真假光学图像的两张概率图的差异并作为loss用于优化鉴别器A，同时SAR图像的概率图的差异用于优化鉴别器B；该两个loss相加作为翻译器的GANloss，翻译器需要最大化它们；还将直接比较真值和重构图像的像素级的差异，以确保目标的位置一一对应；混合的loss被作为两个翻译器的最终的损失函数，然后应用反向传播，以同时调整两个翻译器的可训练参数；

前向传播和后向传播交替进行：batch size设置为1，使用4块NVIDIA Titan X的GPU并行加速技术，同时输入4对SAR和光学图像，每次前向传递一对图像生成对应的假的图像，可根据损失函数计算可训练参数的梯度；当四个线程的梯度都计算出来后，其均值被用于更新优化器；后向传播是单线程，当完成后向传播后；另外四对图像又被送入网络中；每个周期需要遍历完所有的图像，然后重新打乱图片的顺序，遍历下一个周期。