[发明专利]基于轮廓增强的SAR图像到可见光图像的转换方法及装置

说明书

本发明公开了一种基于轮廓增强的SAR图像到可见光图像的转换方法及装置，该方法包括：根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练；对可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取；根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失；利用轮廓重建损失对Pix2PixHD网络进行优化，并利用优化好的网络实现SAR图像到可见光图像的转换。本发明通过对轮廓信息的强监督，提升了复杂纹理SAR图像到伪可见光图像的转换质量。

技术领域

本发明属于图像转换技术领域，具体涉及一种基于轮廓增强的SAR图像到可见光图像的转换方法。

背景技术

图像转换(Image Translation)是利用计算机视觉技术实现将源域图像转换为目标域图像的技术。SAR图像到可见光图像的转换问题中，SAR图像即为源域图像，可见光图像即为目标域图像。合成孔径雷达(Synthetic Aperture Radar，SAR)具有远距离、能穿透云雾植被、全天候对地观测的特点，在遥感、军事、水文、地矿等领域有着广泛应用。由于合成孔径雷达的成像原理，SAR图像均为灰度图，其灰度值取决于回波信号的强度。色彩信息的缺乏以及散斑噪声的干扰使得SAR图像的语义信息很不明确，一般人不能读懂SAR图像，因此一般依靠专家来解译SAR图像。而纹理复杂的光学图像对应的SAR图像看上去全是噪声，更为难以理解。因此，利用算法实现SAR图像到可见光图像的转换，计算机代替人工的解译能够大大降低SAR图像解译的成本。此外，已有研究表明，将SAR图像转换为光学图像后，有助于图像分类任务中分类精度的提高。SAR图像到可见光图像的转换具有很高的实用价值。

现有的SAR图像到可见光图像的转换方法主要以生成对抗网络(GenerativeAdversarial Networks，GAN)为基本框架，大多数采用cycleGAN或Pix2Pix作为基本网络模型。其中，cycleGAN在不成对匹配的SAR图像和可见光图像的转换中应用广泛，而Pix2Pix主要在成对匹配的SAR图像和可见光图像的转换中应用较多。两个网络模型的共同点在于都是基于生成对抗网络的方法，其都由生成器和判别器构成，二者进行博弈对抗，使得生成图像越来越接近目标域的真实图像。

然而，现有的SAR图像到可见光图像的转换方法仅能够解决纹理较为简单的SAR图像到可见光图像的转换，对于复杂纹理的SAR图像到可见光图像的转换任务的实现效果并不好。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于轮廓增强的SAR图像到可见光图像的转换方法及装置。本发明要解决的技术问题通过以下技术方案实现：

一种基于轮廓增强的SAR图像到可见光图像的转换方法，包括：

根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练；

对所述可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取；

根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失；

利用所述轮廓重建损失对Pix2PixHD网络进行优化，并利用优化好的网络实现SAR图像到可见光图像的转换。

在本发明的一个实施例中，所述根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练，包括：

根据SAR图像和可见光图像真值对Pix2PixHD网络的生成器进行训练，得到伪可见光图像；

根据所述伪可见光图像和可见光图像真值对Pix2PixHD网络的多尺度判别器进行训练。

在本发明的一个实施例中，根据SAR图像和可见光图像真值对Pix2PixHD网络的生成器进行训练，得到伪可见光图像，包括：