[发明专利]一种基于深度学习的漫画线稿上色方法

权利要求书

1.一种基于深度学习的漫画线稿上色方法，其特征在于，包括以下步骤：

S1：获取成对的彩色漫画图片和漫画线稿图片作为训练样本，组成训练集；

S2：建立全自动上色模型和用户交互式半自动上色模型，利用训练集中的训练样本对全自动上色模型和用户交互式半自动上色模型进行训练，获得训练好的全自动上色模型或用户交互式半自动上色模型；具体的：

获得训练好的全自动上色模型的方法为：

建立全自动上色模型，包括第一特征编码器、第一空间自适应归一化模块、第一生成器、第一判别器和第二判别器；

将漫画线稿图片输入至第一特征编码器中进行特征提取，获得漫画线稿图片的特征图；

将特征图输入第一空间自适应归一化模块进行归一化，获得归一化的特征图；

将归一化的特征图输入第一生成器中，并向第一生成器输入随机隐变量，获得上色图片；

将上色图片和漫画线稿图片对应的彩色漫画图片输入第一判别器和第二判别器中，设置全自动上色模型损失函数，改变随机隐变量，对全自动上色模型进行训练，直到全自动上色模型损失函数收敛，获得训练好的全自动上色模型；

获得训练好的用户交互式半自动上色模型的方法为：

建立用户交互式半自动上色模型，包括第二特征编码器、第二空间自适应归一化模块、第二生成器、第三判别器、第四判别器和预训练VGG16网络模块；

将漫画线稿图片输入至第二特征编码器中进行特征提取，获得漫画线稿图片的特征图；

将特征图输入第二空间自适应归一化模块进行归一化，获得归一化的特征图；

将归一化的特征图输入第二生成器中，并向第二生成器输入模拟颜色提示，获得上色图片；

将上色图片和漫画线稿图片对应的彩色漫画图片输入第三判别器、第四判别器和预训练VGG16网络模块中，设置用户交互式半自动上色模型损失函数，输入不同的模拟颜色提示，对用户交互式半自动上色模型进行训练，直到用户交互式半自动上色模型收敛，获得训练好的用户交互式半自动上色模型；

获得归一化的特征图的方法为：

其中，c表示输入特征图的通道维度，n表示batchsize的维度，u表示不同的空间自适应归一化模块，i和j分别表示特征图中元素的横纵坐标；表示归一化处理前的输入，表示特征图的均值，表示特征图的标准差；和表示空间自适应归一化模块的学习参数；

S3：获取待上色的漫画线稿，选择上色方式，将待上色的漫画线稿输入相应训练好的全自动上色模型或用户交互式半自动上色模型中进行上色；

S4：从全自动上色模型中输出不同上色方案的上色图片，或从用户交互式半自动上色模型中输出用户指定上色方案的上色图片。

2.根据权利要求1所述的基于深度学习的漫画线稿上色方法，其特征在于，所述步骤S1中，漫画线稿图片为合成模拟漫画线稿图片，获得合成模拟漫画线稿图片的方法：

使用边界检测器XDoG对彩色漫画图片进行线稿提取，通过改变边界检测器XDoG的参数，获得不同级别线宽的漫画线稿图片；对漫画线稿图片进行位图-矢量-位图处理，统一线条后得到合成模拟漫画线稿图片。

3.根据权利要求1所述的基于深度学习的漫画线稿上色方法，其特征在于，所述全自动上色模型损失函数为：

式中：

其中，p_A表示彩色漫画图片数据分布，p_B表示漫画线稿图片数据分布，x,y表示采样的图片，x～p_A表示x采样自彩色漫画图片，y～p_B表示y采样自漫画线稿图片，z₁表示随机隐变量，z₁～p_z表示随机隐变量z₁采样自标准高斯分布；G₁表示第一生成器，D_k表示第k判别器，k＝1，2；表示第k判别器对抗损失函数，表示第一生成器对抗损失函数，E(*)表示分布函数的期望值。