[发明专利]一种手绘线条画生成现实感图像的深度学习方法

权利要求书

1.一种手绘线条画生成现实感图像的深度学习方法，其特征在于：包括以下步骤：

步骤S1:建立双层GAN结构，包括第一层GAN结构和第二层GAN结构；

步骤S2:收集并生成用于训练网络的“真实图像-模拟线条画”数据集；

步骤S3:根据“真实图像-模拟线条画”数据集，训练第一层GAN结构，得到训练后的第一层GAN结构；

所述步骤S3具体为：

步骤S31：将真实图像B与根据其生成的模拟线条画B_S组合成对，作为第一层GAN的训练样本对；

步骤S32:GAN优化的目标是一个极小极大博弈问题，即最大化D的区分度，最小化G(B_S)和真实数据集的数据分布,优化问题描述为：

其中，E·表示数学期望，P·表示概率分布，D(z，x)表示鉴别器输出的z与x相似度的概率值，G(z)表示生成器根据输入图像z而生成的图像的特征量，λ表示权重系数，||·||₁表示L1范数，即向量中各个元素绝对值之和，表示输入的模拟线条画，B∈B_ground-truth表示模拟线条画对应的真实图像；

生成器G生成符合真实图像B分布的数据以欺骗鉴别器，鉴别器D根据真实图像B与生成数据G(B_S)的输入来分别输出一个概率值或者一个标量值，表示D对于输入是真实数据还是生成数据的置信度，以此判断G的产生数据的性能好坏；当最终D不能区分真实数据B和生成数据G(B_S)时，就认为生成器G达到了最优；

步骤S33:将不断地接近P_B作为收敛的判断标准，保证两者学习速率基本一致，达到最大迭代次数完成训练；

步骤S4:将待处理的手绘线条画输入训练后的第一层GAN结构，得到粗粒度现实感图像；

步骤S5:根据“真实图像-粗粒度现实感图像”数据集，训练第二层GAN结构，得到训练后的第二层GAN结构；

所述步骤S5具体为

步骤S51:将真实图像B与粗粒度现实感图像T₁组合成对，作为第二层GAN的训练样本对；

步骤S52:第二层GAN优化的目标是一个极小极大博弈问题，即最大化D的区分度，最小化G(T₁)和真实数据集的数据分布，描述如下：

其中，E·表示数学期望，P·表示概率分布，D(z，x)表示鉴别器输出的z与x相似度的概率值，G(z)表示生成器根据输入图像z而生成的图像的特征量，λ表示权重系数，||·||₁表示L1范数，即向量中各个元素绝对值之和，T₁∈T_1input表示输入的粗粒度现实感图像；

生成器G生成符合真实图像B分布的数据欺骗鉴别器，鉴别器D根据真实图像B与生成数据G(T₁)的输入来分别输出一个概率值或者一个标量值，表示D对于输入是真实数据还是生成数据的置信度，以此判断G的产生数据的性能好坏；当最终D不能区分真实数据B和生成数据G(T₁)时，就认为生成器G达到了最优；

步骤S53：在训练过程中，不断地接近P_B是收敛的判断标准；保证两者学习速率一致，达到最大迭代次数完成训练；

步骤S6:将粗粒度现实感图像输入训练后的第二层GAN结构，得到高分辨现实感图像。