[发明专利]一种基于GAN的动漫绘画辅助创作方法

说明书

本发明公开了一种基于GAN的动漫绘画辅助创作方法，利用基于生成对抗网络与强化学习的线稿专业增强技术、基于相关类属学习与颜色聚类的线稿上色技术和基于视听联觉与情感计算的动漫音乐相册生成等技术，构建一体化动漫绘画辅助创作系统，提升了用户的创作体验与艺术审美。

技术领域

本发明涉及技术图像生成技术领域，更具体地，涉及一种基于GAN的动漫绘画辅助创作方法。

背景技术

目前有非常丰富的图像翻译、风格迁移任务，无论真实感还是非真实感渲染，都是对缺失的或者待转换的图像进行信息恢复或者特征修改。图像生成采用的深度学习网络一般分为变分自编码器(VAE)，生成式对抗网络(GAN)及它们的变种。VAE因为没有对抗学习，导致生成的图片比较模糊。GAN及其变种的图像生成应用更加广泛，效果更优。

Conditional GAN为原始GAN加上一些显式的外部信息，一般是用户的额外输入，比如语义类别、高维度类别、底层约束信息等。Improved GAN将判别器的判别条件作为生成器的输入条件，提升了GAN训练的稳定性。而且判别器同时判别多张生成图片从而做出更加合理的决策。GVM将生成图片和原始图片的颜色和形状信息作为条件约束，使用GAN反向生成最佳的特征空间流型。pix2pix使用了Unet和PatchGAN，实现了从分割图变成真实照片，从黑白图变成彩色图，从线条画变成富含纹理、阴影和光泽的图。D的任务是去判断当前的两张图片是否是一个真实的变换。pix2pixHD实现了高分辨率的图像翻译，并且可以进行语义操作。GP-GAN在融合高清图像时，提出高斯泊松方程，采用梯度和色彩信息进行联合优化。GAN的隐变量服从某种分布，但是这个分布背后的含义却不得而知。虽然经过训练的GAN可以生成新的图像，但是它却无法解决一个问题，即生成具有某种特征的图像。例如，对于MNIST的数据，生成某个具体数字的图像，生成笔画较粗、方向倾斜的图像等。InfoGAN从信息论角度添加互信息损失函数，解决了GAN隐变量的可解释性问题。

细粒化指导即让GAN的生成过程拆解到多步。LAPGAN是来自Facebook，是首次将层次化或者迭代生成的思想运用到GAN中的工作。每一步生成的时候，可以基于上一步的结果，而且还只需要“填充”和“补全”新大小所需要的那些信息。让G每次只生成残差图片，生成后的插值图片与上一步放大后的图片做累加，就得到了这一步生成的图片。StackGAN从标题生成鸟类，但是生成的过程则是像LAPGAN一样层次化的，从而实现了256*256分辨率的图片生成过程。StackGAN将图片生成分成两个阶段，阶段一去捕捉大体的轮廓和色调，阶段二加入一些细节上的限制从而实现精修。这个过程效果很好，甚至在某些数据集上可以做到以假乱真。PPGN也主张不要一次生成一张完整的图片，而是要用一个迭代过程不断地调整和完善。与LAPGAN和StackGAN不同，PPGN使用Denoising Auto-Encoder(DAE)的过程实现迭代。

GAN深度学习网络一般分为三种结构形式。DCGAN将GAN成功从MNIST的多层感知机(MLP)结构扩展到卷积神经网络结构，他们提出了一组卷积神经网络，不仅使得GAN可以在celebA和LSUN这种现实世界的真实大规模数据集上训练，还使得batchnorm等trick也被成功运用。pix2pix中却指出了U-Net结构的优势。Unet是一种编解码器完全对称的结构，并且在这样的结构中加入跳跃连接的使用。让encoder和decoder之间一一对应的层学到尽可能匹配的特征，将会对生成图片的效果产生非常正面的影响。GP-GAN的工作中提出了blending GAN的模块，虽然也是基于编解码器的结构，但是略有不同的地方是，在两者中间加入了一个全连接层，这样的好处是可以传递更多的全局信息，使得有监督学习变得更加有效。