[发明专利]一种基于生成对抗网络的双阶段多配色线稿上色模型及其构建方法和应用

说明书

本发明公开了一种基于生成对抗网络的线稿上色模型的构建方法，包括：(1)构建线稿上色网络，线稿上色网络包含编码器、草稿生成器、第一判别器、高级生成器和第二判别器；(2)构建损失函数；(3)以损失函数收敛为目标，对线稿上色网络进行训练，网络参数确定后，提取参数确定的草稿生成器和高级生成器作为线稿上色模型。还公开了一种线稿上色模型。还公开了一种利用该线稿上色模型进行线稿上色的应用。

技术领域

本发明属于图像合成领域，具体涉及一种基于生成对抗网络的双阶段多配色线稿上色模型、该线稿上色模型的构建方法，以及利用该线稿上色模型进行线稿上色的应用。

背景技术

目前绘画师普遍的作画方式是为想画的内容打好线稿，并基于该线稿上色完成作品，然而，这样的上色过程需要耗费大量的时间和精力，想要创作出一幅质量较高的插画需要对色彩有很好的学习，同时需要大量绘图的经验，如果能将这项繁重与专业的任务交给计算机自动完成，则无疑能极大的提升绘画师的作画效率。

目前，已有成功的方法对黑白图像进行上色，然而，基于线稿的图片上色在计算机领域中是一项具有挑战性的任务，因为线稿缺少黑白图片的灰度和语义信息。同时，因为缺乏成对的线稿及与之对应的上完色的图片，想要训练这样的模型也变得较为困难。

目前，随着人工智能技术的发展，以生成对抗网络(GAN)为代表的生成模型得到了快速的发展。生成对抗网络的基本思想为对抗博弈，由生成器和判别器组成。生成器的目的是生成能够欺骗判别器的上色图片，而判别器的目的则是判断出哪些图片是生成的，哪些是真实的，二者相互促进提高，最终能够自动生成出较高水平的上色图片，从而让上色过程变得更加高效和智能。

目前，现有利用线稿和彩色图片进行训练的生成对抗网络模型，输入线稿就可以得到对应的彩色图片，然而这样的方法生成的彩色图片生成结果由线稿和网络模型完全确定，导致生成的结果非常单一，对于使用者来说并不实用。

另外还存在着基于参考图像的线稿上色模型，通过输入线稿并选择参考图像来使生成结果更加丰富，然而这种方法首先需要寻找到合适的参考图像，这一点较难实现且在实用性上并不方便，使用者需要多次更换参考图像才能找到较好的生成效果，而且在参考图像和线稿结构不一致时上色效果较差。

随着大量高清显示设备的涌现，人们对分辨率的要求也在随之提升，然而，由于生成对抗网络对抗的特性，训练过程会变得很不稳定，难以收敛，想要训练能够这样的能够产生较高分辨率的上色模型也变得较为困难，且生成效果较为一般。

可见，如果能解决上述提出的生成结果单一、使用不方便、训练不稳定等问题，提出一个能够基于原线稿直接生成多种配色方案供用户选择的且训练更稳定的上色模型，将能更好的提升绘画师的作画效率。

发明内容

为了提升绘画师的作画效率、改进现有基于生成对抗网络方法的训练稳定性，本发明提供了一种基于生成对抗网络的双阶段多配色线稿上色模型及其构建方法和应用。

本发明提供了一种基于生成对抗网络的双阶段多配色线稿上色模型的构建方法，包括以下步骤：

(1)构建双阶段多配色线稿上色网络，双阶段多配色线稿上色网络包含草稿阶段的编码器、草稿生成器、第一判别器，分辨率提升阶段的高级生成器和第二判别器，其中，编码器用于将真实彩色图片和/或草稿生成器生成的草稿彩色图片编码成特征向量；草稿生成器用于将输入的线稿图片和特征向量生成草稿彩色图片，第一判别器用于判别输入的图像是草稿彩色图片还是真实彩色图片；高级生成器用于将输入的线稿图片和草稿彩色图片生成高分辨率生成图片，第二判别器用于判别输入的图像是高分辨率生成图片还是真实彩色图片，由于两个阶段任务耦合性较低，减轻了任务的复杂度，训练的稳定性得到了提升；