[发明专利]一种基于生成对抗网络的双阶段多配色线稿上色模型及其构建方法和应用

摘要

本发明公开了一种基于生成对抗网络的线稿上色模型的构建方法，包括：(1)构建线稿上色网络，线稿上色网络包含编码器、草稿生成器、第一判别器、高级生成器和第二判别器；(2)构建损失函数；(3)以损失函数收敛为目标，对线稿上色网络进行训练，网络参数确定后，提取参数确定的草稿生成器和高级生成器作为线稿上色模型。还公开了一种线稿上色模型。还公开了一种利用该线稿上色模型进行线稿上色的应用。

主权项

1.一种基于生成对抗网络的双阶段多配色线稿上色模型的构建方法，包括以下步骤：(1)构建双阶段多配色线稿上色网络，双阶段多配色线稿上色网络包含草稿阶段的编码器、草稿生成器、第一判别器，分辨率提升阶段的高级生成器和第二判别器，其中，编码器用于将真实彩色图片和/或草稿生成器生成的草稿彩色图片编码成特征向量；草稿生成器用于将输入的线稿图片和特征向量生成草稿彩色图片，第一判别器用于判别输入的图像是草稿彩色图片还是真实彩色图片；高级生成器用于将输入的线稿图片和草稿彩色图片生成高分辨率生成图片，第二判别器用于判别输入的图像是高分辨率生成图片还是真实彩色图片，由于两个阶段任务耦合性较低，减轻了任务的复杂度，训练的稳定性得到了提升；(2)构建损失函数，第一判别器的损失函数为与真实彩色图片匹配的真实标签、草稿彩色图片匹配的虚假标签对应的第一交叉熵，草稿生成器需要减少草稿彩色图片与真实彩色图片的均方误差，生成的图片要让第一判别器判断为真实标签，同时为了引入噪声编码以生成多种配色，还需减少特征向量之间的平均绝对误差；编码器通过KL散度损失让编码输出的特征接近于高斯分布；第二判别器的损失函数为与真实彩色图片匹配的真实标签、生成的高分辨率彩色图片匹配的虚假标签对应的第二交叉熵，高级生成器需要减少高分辨率生成图片与真实彩色图片的均方误差，同时生成的图片要让第二判别器判断为真实标签；(3)以真实彩色图片、根据彩色图片生成的线稿图片作为训练样本，以损失函数收敛为目标，对线稿上色网络进行分阶段训练，待草稿阶段模型训练完成后，再进行分辨率提升阶段的训练，网络参数确定后，提取参数确定的草稿生成器和高级生成器作为线稿上色模型。