[发明专利]一种基于细粒度语义级的民族服饰灰度图像着色方法

说明书

本发明涉及一种基于细粒度语义级的民族服饰灰度图像着色方法，属于灰度图像自动着色技术领域。本发明利用服饰不同部位语义来辅助民族服饰灰度图像着色。一般全自动的着色方法并不会考虑图像的语义信息，而对于民族服饰而言，不同服饰部位颜色分布差异较大，本发明是将服饰细粒度级的语义信息和灰度图像信息同时作为条件输入到生成器，其中最重要的是利用服饰不同部位的语义信息，来解决服饰图像空间一致性等问题。

技术领域

本发明涉及一种基于细粒度语义级的民族服饰灰度图像着色方法，属于灰度图像自动着色技术领域。

背景技术

少数民族文化源远流长、各个少数民族形成了各自不同的文化特色，其中民族服饰在民族文化发展中有着重要分量，民族服饰是各民族的生动符号，种类繁多，各自发展。每个少数民族服饰形成了各自不同的文化特色，最直观的就体现在服饰色彩方面，对于民族服饰而言颜色是一种特殊的表达，由各民族不同的文化决定的。(如，哈尼族主色调为青、蓝、红、绿等颜色；傣族主色调主要以红、淡黄、淡绿等颜色)将灰度图像彩色化相关技术应用在民族服饰灰度图像着色方面，可以更好的保护与传承少数民族文化。然而民族服饰相比较与普通服饰，因其复杂的服饰设计和颜色分布，利用一般的着色方法难以得到很好的着色效果。

发明内容

本发明要解决的技术问题是提供一种基于细粒度语义级的民族服饰灰度图像着色方法，用以解决现有着色方法对民族服饰灰度图像着色时效果差的问题。

本发明的技术方案是：一种基于细粒度语义级的民族服饰灰度图像着色方法，利用服饰不同部位语义来辅助民族服饰灰度图像着色。一般全自动的着色方法并不会考虑图像的语义信息，而对于民族服饰而言，不同服饰部位颜色分布差异较大，本发明是将服饰细粒度级的语义信息和灰度图像信息同时作为条件输入到生成器，其中最重要的是利用服饰不同部位的语义信息，来解决服饰图像空间一致性等问题。(例如，全自动灰度图像着色方法不会考虑服饰不同部位的颜色分布，只会根据灰度信息进行彩色映射)。

具体步骤为：

Step1：色彩生成阶段

Step1.1：对民族服饰灰度图像进行语义范围的人工标注，获得民族服饰语义分割图，按照预先设定好的少数民族服饰语义标签，将语义分割信息转化为各个民族服饰各部位细粒度语义掩码。

转化后的民族服饰细粒度语义掩码维度为8维，与少数民族服饰语义标签数量一致。语义分割信息转化为语义掩码实际上是在8个维度上分别用二元掩码表示语义信息，二元掩码由0和1组成，其中1所组成的区域与实际语义相对应，0对应的是无关区域信息。

Step 1.2：将民族服饰灰度图像与民族服饰语义掩码进行拼接，灰度图像在CIE-Lab色彩空间中用一个维进行编码，也就是Lab三个颜色通道中的灰度通道(L通道)。根据预先设置好的少数民族服饰语义标签对语义进行编码，维度大小为语义标签数，图像长宽不变，按照各通道进行拼接。其中图像长宽分别为H和W，语义掩码维度为C，拼接后的尺寸为(C+1)*H*W，其中包括一维的灰度通道。

Step 1.3：将拼接后的尺寸为(C+1)*H*W的数据输入到彩色生成器中，首先进行下采样，将拼接后的图像数据依次转换为64维、128维、256维、512维，得到最终的图像特征图，其维度为512。

Step 1.4：下采样后将图像特征图进一步输入到残差块组中，每个残差块都包含两个卷积层，对于残差块内部结构，特征图A首先保留副本，再与经过残差块中两层卷积得到的特征图B进行拼接。

Step 1.5：图像特征图经过残差块组后，再将处理后的特征图进行上采样，采用反卷积的方式，将特征图依次转换为512维、256维、128维、64维，最后的图像特征图维度为64维。

Step1.6：将Step 1.5中的64维输出结果通过卷积层，输出双通道图像，在CIE-Lab色彩空间下将灰度图像拼接到双通道图像上，再转换色彩空间到RGB进行显示与存储。