[发明专利]布局优先的多尺度解耦海洋遥感图像上色方法及系统

权利要求书

1.布局优先的多尺度解耦海洋遥感图像上色方法，基于生成对抗网络架构，通过生成器G生成彩色图像，通过判别器D判别真实图像与生成图像，其特征在于，具体包括以下步骤：

步骤1、输入图像：输入图像为原始灰度图及下采样为不同尺度的两个灰度图、，其中、、的尺度依次减小；

步骤2、设计多尺度解耦特征提取模块，对步骤1的输入图像处理，提取多尺度解耦特征；所述多尺度解耦特征提取模块包括多尺度特征解耦模块、布局划分模块、语义约束模块和图像着色模块，所述多尺度特征解耦模块包括两个相同结构的多尺度特征解耦模块Ⅰ和多尺度特征解耦模块Ⅱ，进行多尺度特征解耦；在提取多尺度解耦特征时，具体如下：

步骤2.1、将步骤1的不同尺度的输入图像输入多尺度特征解耦模块进行多尺度特征解耦，分别生成针对尺度任务的解耦特征；

步骤2.2、将步骤2.1生成的解耦特征经过布局划分、语义约束以及图像着色处理，生成布局划分特征、语义特征以及着色特征，其中，原始灰度图得到的特征直接输入图像着色模块，多尺度特征解耦模块Ⅰ输出的解耦特征输入语义约束模块，多尺度特征解耦模块Ⅱ输出的解耦特征输入布局划分模块；

步骤3、设计布局优先的多尺度特征融合模块，将步骤2提取的多尺度解耦特征输入布局优先的多尺度特征融合模块，利用增强的布局划分特征指导语义特征，随后利用包含布局约束的语义特征指导着色特征，对步骤2提取的多尺度解耦特征进行融合；

步骤4、生成彩色图像；

步骤5、将步骤4生成的彩色图像和原始彩色图像通过判别器D进行判别，输出判别结果。

2.根据权利要求1所述的布局优先的多尺度解耦海洋遥感图像上色方法，其特征在于，步骤2.1中，多尺度特征解耦模块进行多尺度特征解耦，具体操作如下：

首先，对步骤1的原始灰度图及下采样为不同尺度的两个灰度图、分别进行卷积操作得到初始上色特征、初始语义特征以及初始布局特征；

其次，利用特征图完成多尺度特征解耦，具体地，在多尺度特征解耦模块Ⅰ中，特征通过平均池化后得到特征，用特征减去特征，得到解耦特征；同样的，将特征上采样得到特征，用特征减去特征，得到解耦特征；将与相加获得解耦特征；公式表示为：

其中，表示对特征上采样操作；表示对特征平均池化操作；

同样的，特征与特征通过与多尺度特征解耦模块Ⅰ结构相同的多尺度特征解耦模块Ⅱ进行特征解耦，具体地，在多尺度特征解耦模块Ⅱ中，特征通过平均池化后得到特征，用特征减去特征，得到解耦特征；同样的，将特征上采样得到特征，用特征减去特征，得到解耦特征；将与相加获得解耦特征；公式表示为：

其中，表示对特征上采样操作；表示对特征平均池化操作。

3.根据权利要求1所述的布局优先的多尺度解耦海洋遥感图像上色方法，其特征在于，步骤2.2中所述布局划分模块包括两个操作，其一，通过预训练的用于语义分割任务的U-net网络提取语义特征，其二，根据相关性计算合并相似的语义区域从而生成布局分割图。

4.根据权利要求3所述的布局优先的多尺度解耦海洋遥感图像上色方法，其特征在于，步骤2.2中所述布局划分模块的具体操作如下：

首先，通过预训练的U-Net网络生成语义分割图，将预训练的U-Net网络提取的最后一层特征取出，在特征中，对语义分割图中每个语义区域对应位置中包含的特征值取平均，计算出每个语义区域的质心；另外，将特征划分成q²/r²个r*r大小的块，q*q为特征的尺寸，r*r为每个块的尺寸，r等于特征尺寸大小的公因数，每个块用该块所属语义区域的质心表示，用块P的质心与周围8个块的质心分别做差取绝对值，得到一个对于块P的8维特征表示；

其次，合并相似语义区域生成布局划分特征：若相邻的两个块A、B不属于同一个语义，那么计算这两个块A、B之间的余弦相似度，计算公式为：

其中，表示块A的第ｚ维向量，表示块B的第ｚ维向量，公式通过计算余弦相似度计算块A和B的相似性，ｚ是８维向量上的第几维；若余弦相似度大于阈值，合并这两个块所属的语义区域，生成布局划分特征，具体合并方法为：计算这两个语义区域质心的均值z，将这两个语义区域中包含的像素设为z以获得一个表示布局划分的特征。