[发明专利]一种基于生成对抗网络的双阶段多配色线稿上色模型及其构建方法和应用

权利要求书

1.一种基于生成对抗网络的双阶段多配色线稿上色模型的构建方法，包括以下步骤：

(1)构建双阶段多配色线稿上色网络，双阶段多配色线稿上色网络包含草稿阶段的编码器、草稿生成器、第一判别器，分辨率提升阶段的高级生成器和第二判别器，其中，编码器用于将真实彩色图片和/或草稿生成器生成的草稿彩色图片编码成特征向量；草稿生成器用于将输入的线稿图片和特征向量生成草稿彩色图片，第一判别器用于判别输入的图像是草稿彩色图片还是真实彩色图片；高级生成器用于将输入的线稿图片和草稿彩色图片生成高分辨率生成图片，第二判别器用于判别输入的图像是高分辨率生成图片还是真实彩色图片；

其中，草稿生成器输入的特征向量分别来自于噪声和真实彩色图片的编码；

(2)构建损失函数，第一判别器的损失函数为与真实彩色图片匹配的真实标签、草稿彩色图片匹配的虚假标签对应的第一交叉熵，草稿生成器需要减少草稿彩色图片与真实彩色图片的均方误差，生成的图片要让第一判别器判断为真实标签，同时为了引入噪声编码以生成多种配色，还需减少特征向量之间的平均绝对误差；编码器通过KL散度损失让编码输出的特征接近于高斯分布；第二判别器的损失函数为与真实彩色图片匹配的真实标签、生成的高分辨率彩色图片匹配的虚假标签对应的第二交叉熵，高级生成器需要减少高分辨率生成图片与真实彩色图片的均方误差，同时生成的图片要让第二判别器判断为真实标签；

构建的损失函数为：

草稿阶段，分为两种情况，一种是噪声向量z从图片编码的特征向量中采样，另一种是噪声向量z从高斯噪声p(z)～N(0,1)中采样；

噪声向量z从图片编码的特征向量中采样的情况下，首先要保证生成的草稿彩色图片相似于真实彩色图片，采用均方差损失

A表示线稿图片，B表示真实彩色图片，(A,B)组成了训练集，该训练集的特征满足p(A,B)的分布，A,B～p(A,B)表示训练过程中采样的A,B来源于这样的训练集分布；同样的，B编码之后的特征也满足分布E(B)，z～E(B)就表示z为编码器Encoder对真实彩色图片B的编码向量E(B)中的采样点，满足这样的分布；G₁(A,z)表示在输入为(A,z)的条件下，草稿生成器G₁生成的草稿彩色图片，表示满足上述采样条件下的期望函数，这里的||B-G₁(A,z)||₂为L2范数，其原型公式为把B-G₁(A,z)用x替代；

其次是第一判别器D₁、草稿生成器G₁之间的对抗损失，采用交叉熵损失：

D₁(A,B)表示输入为(A,B)的条件下，即输入真实图片的情况下，第一判别器D₁的输出的标签；D₁(A,G₁(A,z))表示输入为(A,G₁(A,z))的条件下，即输入生成的虚假图片的情况下，第一判别器D₁的输出的标签；

最后一部分是要求编码器编码出来的特征需要接近于高斯分布N(0,1)的KL损失：

这里的D_KL(E(B)||N(0,1))是KL散度，其原型公式为

该公式用于衡量p分布和q分布之间的距离，这里p对应E(B),q对应N(0,1)，通过减少二者距离之间的期望来达到上述编码器编码出来的特征需要接近于高斯分布N(0,1)的目的；

z从高斯噪声p(z)～N(0,1)中采样的情况下：

首先要保证生成的草稿彩色图片相似于真实彩色图片，采用均方差损失

和L_mse1(G₁)唯一不同的地方就是这里z的分布为高斯分布N(0,1)，z～p(z)就表示z是从这样的高斯分布中采样得到的；

第一判别器D₁、草稿生成器G₁之间的对抗损失，采用交叉熵损失

为了保证生成的草稿彩色图片的编码与z一致，采用平均绝对误差

E(G₁(A,z))表示编码器E对草稿生成器G₁输出的G₁(A,z)的编码向量，这里的||z-E(G₁(A,z))||₁为L1范数，其原型公式为：

即把z-E(G₁(A,z))用x替代；

综上，草稿阶段的损失函数为：

这里的超参数λ_KL,λ_mse1,λ_latent,λ_mse2为各部分损失函数的权重；

分辨率提升阶段，首先要保证生成的高分辨率彩色图片相似于真实彩色图片，采用均方差损失：

这里的B_draft是草稿阶段生成的草稿彩色图片，即

B_draft＝G₁(A,z)

G₂(A,B_draft)则是在输入为(A,B_draft)的条件下，高级生成器G₂生成的高分辨率彩色图片；

第二判别器G₂、高级生成器D₂之间的对抗损失，采用交叉熵损失

D₂(A,B)表示输入为(A,B)的条件下，即输入真实图片的情况下，第二判别器D₂的输出的标签；D₂(A,B_draft)表示输入为(A,B_draft)的条件下，即输入生成的虚假图片的情况下，第二判别器D₂的输出的标签；

综上，最终阶段的损失函数为

L_final＝L_GAN2(G₂,D₂)+λ_mseL_mse(G₂)

这里的超参数λ_mse为均方差损失函数的权重；

(3)以真实彩色图片、根据彩色图片生成的线稿图片作为训练样本，以损失函数收敛为目标，对线稿上色网络进行分阶段训练，待草稿阶段模型训练完成后，再进行分辨率提升阶段的训练，网络参数确定后，提取参数确定的草稿生成器和高级生成器作为线稿上色模型。