[发明专利]布局优先的多尺度解耦海洋遥感图像上色方法及系统

说明书

本发明属于图像处理技术领域，公开了布局优先的多尺度解耦海洋遥感图像上色方法及系统，首先将输入的原始灰度图下采样为不同尺度的多个灰度图，输入多尺度解耦特征提取模块，提取多尺度解耦特征；将多尺度解耦特征输入布局优先的多尺度特征融合模块，利用增强的布局划分特征指导语义特征，随后利用包含布局约束的语义特征指导着色特征，对提取的多尺度解耦特征进行融合；最后生成彩色图像；将生成的彩色图像和原始彩色图像通过判别器进行判别，可以输出判别结果。通过本发明解决了海洋遥感图像空间布局一致性问题，下采样后的大尺度特征提取过程中包含大量噪声的问题以及多尺度信息利用过程中，大尺度对小尺度约束弱的问题。

技术领域

本发明属于图像处理技术领域，特别涉及布局优先的多尺度解耦海洋遥感图像上色方法及系统。

背景技术

海洋遥感图像上色是利用灰度遥感图像生成彩色遥感图像的过程，灰度遥感图像的彩色化能够增加对遥感图像的解译、分析能力。传统的上色方法使用单一尺度的生成网络实现着色过程，使得着色缺乏空间一致性。由于海洋遥感图像具有空间布局失衡的特点，前沿的遥感图像上色方法以生成对抗网络为基本架构，通过设计基于U-net的多尺度生成器实现上色。其优势在于利用多尺度生成器中的宏观尺度约束微观尺度，一定程度上保证了图像空间布局的一致性。

但是，现有方法存在以下问题：

第一，忽略了地理空间布局一致性约束。现有的上色方法虽然采用多尺度建模的方式，可以提升大尺度目标刻画的空间一致性，但由于缺乏布局（天空、海面、陆地）的一致性约束，无法保证具有超大面积连续区域的海洋遥感图像空间布局的一致性。例如，在连续的海面区域上，由于海面水体的强反射造成的光斑易被错误分类为船舶或冰面，而现有方法中并未充分利用布局信息进行消歧，导致上色错误。

第二，未进行尺度解耦，大尺度中包含大量噪声。大尺度直接在下采样后的灰度图中提取上色特征，导致大尺度所提取的特征中仍包含大量小尺度信息，而这些小尺度信息对于大尺度来说属于冗余噪声，不利于保证海洋遥感图像的空间一致性。

第三，在多尺度信息融合过程中，现有方法大多同时考虑多个尺度特征实现上色，未能考虑不同场景下不同尺度对着色结果的影响。例如，在小尺度上是船舶的像素，在大尺度上易被判断为海洋，此时，小尺度的指导作用更强；但对于歧义像素，例如光斑像素，在小尺度（高精度遥感图像）上被误判为船舶，但降采样后被消除，因此在大尺度（低精度遥感图像）层面该像素被判断是海洋，此时大尺度的指导性更强。由于在海洋遥感图像中，大尺度场景更为常见，因此应更加关注大尺度特征。现有方法仅通过将两个尺度特征对应元素相加实现融合操作，未能考虑海洋遥感图像上色过程中大尺度特征的主导作用。

发明内容

针对现有技术存在的不足，本发明提供布局优先的多尺度解耦海洋遥感图像上色方法及系统，通过布局划分模块约束语义特征生成从而约束着色，保证着色的一致性；通过多尺度解耦方法，解决了布局划分模块和语义约束模块中噪声引入的问题，获得用于布局划分和语义分割的初始特征，从而生成高效的布局划分以及语义分割特征用于指导图像上色，以保证着色空间一致性。

为了解决上述技术问题，本发明采用的技术方案是：

本发明首先提供一种布局优先的多尺度解耦海洋遥感图像上色方法，基于生成对抗网络架构，通过生成器G生成彩色图像，通过判别器D判别真实图像与生成图像，具体包括以下步骤：

步骤1、输入图像：输入图像为原始灰度图及下采样为不同尺度的两个灰度图、，其中、、的尺度依次减小；

步骤2、设计多尺度解耦特征提取模块，对步骤1的输入图像处理，提取多尺度解耦特征；所述多尺度解耦特征提取模块包括多尺度特征解耦模块、布局划分模块、语义约束模块和图像着色模块，所述多尺度特征解耦模块包括两个相同结构的多尺度特征解耦模块Ⅰ和多尺度特征解耦模块Ⅱ，进行多尺度特征解耦；在提取多尺度解耦特征时，具体如下：