[发明专利]基于轮廓增强的SAR图像到可见光图像的转换方法及装置

权利要求书

1.一种基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，包括：

根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练；

对所述可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取；

根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失；

利用所述轮廓重建损失对Pix2PixHD网络进行优化，并利用优化好的网络实现SAR图像到可见光图像的转换。

2.根据权利要求1所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，所述根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练，包括：

根据SAR图像和可见光图像真值对Pix2PixHD网络的生成器进行训练，得到伪可见光图像；

根据所述伪可见光图像和可见光图像真值对Pix2PixHD网络的多尺度判别器进行训练。

3.根据权利要求2所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，根据SAR图像和可见光图像真值对Pix2PixHD网络的生成器进行训练，得到伪可见光图像，包括：

将SAR图像输入到生成器中进行特征提取，得到伪可见光图像；

将所述伪可见光图像输入到判别器中进行判别，并计算生成器的对抗损失；

利用所述生成器的对抗损失对生成器的参数进行更新，以提高生成的伪可见光图像的质量。

4.根据权利要求2所述的基于轮廓增强的SAR图像到可见光图像的转换方法，根据所述伪可见光图像和可见光图像真值对Pix2PixHD网络的多尺度判别器进行训练，包括：

将所述伪可见光图像分别输入到第一判别器和第二判别器中，并将输出的特征图和全0阵进行拉近，以减小其欧几里得距离；

将所述可见光图像真值分别输入到第一判别器和第二判别器中，并将输出的特征图和全1阵进行拉近，以减小其欧几里得距离；

其中，所述第一判别器为原尺度判别器，所述第二判别器为1/2尺度判别器。

5.根据权利要求1所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，对所述可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取，包括：

根据空域微分方法对所述可见光图像真值进行梯度运算，得到图像各个像素的梯度值；

根据所述梯度值设置返回像素的值，以提取可见光图像真值的边缘轮廓信息；

采用同样的方法提取伪可见光图像的轮廓信息。

6.根据权利要求5所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失，包括：

计算所述可见光图像真值的轮廓信息和伪可见光图像的轮廓信息的归一化互相关系数；

计算像素级以可见光图像真值的轮廓图像像素值为加权的权重系数；

将所述权重系数与所述归一化互相关系数相乘，得到轮廓重建损失。

7.根据权利要求6所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，所述轮廓重建损失的表达式为：

其中，L_con表示轮廓重建损失，NCC表示归一化的互相关系数，GT_con表示可见光图像真值的轮廓图，F_con表示伪可见光图像的轮廓图，AvgPool表示核大小为8×8平均池化。

8.根据权利要求1所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，利用所述轮廓重建损失对Pix2PixHD网络进行优化，包括：

将所述轮廓重建损失增加到Pix2PixHD网络生成器的目标函数中，使得Pix2PixHD网络中生成器向着生成伪可见光图像轮廓信息损失更小的方向进行优化。