[发明专利]一种基于细粒度语义级的民族服饰灰度图像着色方法

权利要求书

1.一种基于细粒度语义级的民族服饰灰度图像着色方法，其特征在于：

Step1：色彩生成阶段

Step1.1：对民族服饰灰度图像进行标注，获得民族服饰语义分割图，按照预先设定好的少数民族服饰语义标签，将语义分割信息转化为各个民族服饰部位的细粒度语义掩码；

Step 1.2：将民族服饰灰度图像与民族服饰语义掩码进行拼接，灰度图像在CIE-Lab色彩空间中用一个维进行编码；根据预先设置好的少数民族服饰语义标签对语义进行编码，维度大小为语义标签数，图像长宽不变，按照各通道进行拼接；

Step 1.3：将拼接后的数据输入到彩色生成器中，首先进行下采样，将拼接后的图像数据依次转换为64维、128维、256维、512维，得到最终的图像特征图；

Step 1.4：下采样后将图像特征图进一步输入到残差块组中，每个残差块都包含两个卷积层，对于残差块内部结构，特征图A首先保留副本，与经过两层卷积后的B进行拼接；

Step 1.5：图像特征图经过残差块组后，再将处理后的特征图进行上采样，采用反卷积的方式，将特征图依次转换为512维、256维、128维、64维；

Step1.6：将Step 1.5中的64维输出结果通过卷积层，输出双通道图像，在CIE-Lab色彩空间下将灰度图像拼接到双通道图像上，再转换色彩空间到RGB进行显示与存储；

Step 2：生成图像判别阶段

Step 2.1：将Step 1.6中生成的三通道RGB图像与民族服饰细粒度语义级掩码进行拼接；

Step 2.2：将Step 2.1处理后的数据输入到色彩判别器中，判别器其特点为多尺度判别以及分块判别，输入数据进入第一尺度判别器网络，将其依次转换为64维、128维、256维、512维；

Step 2.3：同样将Step 2.1处理后的数据进行尺度变换，利用平局池化层对原数据进行重新采样，采样后数据维度不变，再将其输入到第二尺度判别器网络中，依次转换为64维、128维、256维、512维；

Step 2.4：将Step 2.2与Step 2.3的输出结果进行整合，将两个判别器的判别结果进行统计，然后再输出最终的判别结果；

Step 2.5：将真实彩色图像与根据民族服饰设置的语义级掩码进行拼接，重复Step2.2、Step 2.3、Step 2.4。

2.根据权利要求1所述的基于细粒度语义级的民族服饰灰度图像着色方法，其特征在于：Step1.1中，转化后的民族服饰细粒度语义掩码维度为8维，与少数民族服饰语义标签数量一致。

3.根据权利要求1所述的基于细粒度语义级的民族服饰灰度图像着色方法，其特征在于：Step1.1中，对民族服饰灰度图像进行标注的方法为人工标注。

4.根据权利要求1所述的基于细粒度语义级的民族服饰灰度图像着色方法，其特征在于：Step1.4中，图像特征图在残差块组中共经过9个残差块。

5.根据权利要求1所述的基于细粒度语义级的民族服饰灰度图像着色方法，其特征在于：Step 2.1中，三通道RGB彩色图像为3维，根据民族服饰设置的语义级掩码有8维数据，将两者拼接起来为11维数据。