[发明专利]基于用户颜色引导的语义级别线稿上色方法

说明书

本发明属于计算机视觉技术领域，提供了一种基于用户颜色引导的语义级别线稿上色方法。该方法首先进行合成线稿的生成与颜色线条处理，使用条件生成对抗网络框架训练生成模型。该方法设计的生成对抗网络体系结构由四个子网络组成：生成器网络、判别器网络，局部特征网络以及特征提取网络，这四个网络协同作用，表现出了良好的引导上色效果。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于用户颜色引导的语义级别线稿上色方法。

背景技术

目前，基于用户引导的语义级别图像处理仍然是一个开放且具有挑战性的问题。电子线稿上色是原画创作、动漫制作的核心步骤之一，简化上色步骤是提高创作效率及减少中间帧上色外包工作量的关键。与黑白照片不同，线稿不具有灰度信息以及易于获取的“线稿-原画”成对数据。此外，如图3左所示，线稿的数据在数值上呈现为二值化的稀疏数据，这给语义级别上色带来了很大的挑战。

在人的上色交互过程中，基于颜色线条的引导信息同时包含颜色、密度与空间信息，是最为直观的交互方式。因此许多引导上色算法是基于颜色线条信息的。Yingge等人(Manga colorization.ACM Transactions on Graphics(TOG).Vol.25.No.3.ACM,2006.)提出了一种基于边缘与不同材质的漫画上色算法，该算法基于模式连续、密度连续以及对不同材质的区分进行上色，但是这类方法只能依据原图材质密度产生阴影，对于仅有边缘信息的电子线稿只能产生单调的上色效果。此外，该方法完全依赖于用户输入，无法依据原图内涵的语义信息(肢体，物体，服饰等)对颜色进行推断。因此，在做语义级别的线稿上色任务时，应该采用基于学习的方法。

随着深学习技术的飞速发展，全卷积网络(“Gradient-based learning appliedto document recognition.Proceedings of the IEEE 86.11(1998):2278-2324.)推动了基于学习的图像处理的发展。许多优秀的研究基于全卷积网络，并通过大量数据的学习，从输入图像中提取丰富的语义信息。Zhang等人(Real-time user-guided imagecolorization with learned deep priors.arXiv preprint arXiv:1705.02999(2017).)通过利用在Image-Net上预训练的参数和U-net架构，将基于学习的先验语义信息和上色任务结合以达到即使没有颜色提示也可以对黑白图片进行颜色推断。但是当输入数据为没有灰度信息的线稿时，该方法就失效了。在线稿上色任务中，不仅需要在线稿数据来源不足的情况下从线稿中提取语义信息、预测颜色，还要隐含地推测灰阶信息以产生真实的阴影。为此，有必要研究一种基于生成模型的的引导上色算法。

Sangkloy等人(Scribbler:Controlling deep image synthesis with sketchand color.IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Vol.2.2017.)通过利用多种算法合成线稿，借此获取成对训练数据。通过生成对抗网络架构学习从线稿+颜色提示到上色结果的映射。框架通过两个网络的博弈学习使得模型输出更加逼近真实图片，借此学习除颜色外的阴影等信息。但是该方法的模型无法支持高分辨率的任务，而且会较严重地在合成线稿的特征上过拟合，而在真实线稿上无法保持生成质量。

本发明受到以上算法的启发，针对项目需求，提出一种有效的基于用户颜色引导的语义级别线稿上色方法。

发明内容

本发明的目的解决基于用户颜色引导的上色方法的不足之处。在基于用户颜色引导的语义级别线稿上色中，处理目标是线稿图像和颜色提示图像，处理目的是对线稿图像基于有限的颜色提示进行语义级别上色。

本发明的技术方案：

一种基于用户颜色引导的语义级别线稿上色方法，步骤如下：