[发明专利]基于动态记忆模块和生成对抗网络的动漫草图上色方法

说明书

本发明提供了一种基于动态记忆模块和生成对抗网络的动漫草图上色方法，属于图像处理技术领域。本发明首次利用动态记忆模块完成图像上色任务，首先将动漫草图输入到网络中，获取图片特征图；利用动态记忆模块动态地从图像标签中读取信息，组合图片特征和图像标签信息，对生成器和判别器进行训练，以生成符合标签描述的彩色图像。本发明利用动态记忆模块和条件生成对抗网络实现了由动漫草图及相应的图片标签生成彩色图片的任务，通过动态组合标签信息和图像信息提升图片质量；本发明利用真实的图像数据集进行评估，并观察在最先进的基线上的改进。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于动态记忆模块和生成对抗网络的动漫草图上色方法。

背景技术

图像上色技术在图像处理领域是非常重要的研究内容，涉及到包括计算机视觉、灰度图像处理、颜色空间变换等多个方面的算法。传统的图像上色方法分为基于局部颜色的图像上色方法和基于颜色传递的图像上色方法。第一种方法也被称为基于笔刷的上色方法，此算法需要用户手动在目标图像上用彩色的笔刷对局部进行颜色标注，并将此数据作为上色依据，进一步对整幅图片进行扩张上色。第二种方法需要一张与待上色图片相似的彩色样本图像，并以该图像作为基准，在待上色图像上进行颜色的传递，使得待上色图片与彩色图片样本具有相似的颜色，该方法又称为基于样本图像的上色方法。

随着计算机性能和图形处理器性能的不断提高，处理深度神经网络和图像的能力越来越强，深度学习的技术也不断被应用到图像的上色任务中。目前基于深度学习的图像上色任务中，大多使用条件生成对抗网络，通过设计生成器和判别器，其中生成器的作用是生成图片并设法骗过判别器，而判别器则要区分图片的真假，通过两者之间的对抗，使得模型效果越来越好，最终生成器可以生成以假乱真的图片。

目前图片上色问题中，大多存在着以下几个问题：(1)颜色错误，在图片中填充了不恰当的颜色，比如绿色的人脸等；(2)颜色渗透，网络往往无法区分前景和背景、图片中的不同实例，造成前景和背景、不同实例之间的颜色渗透；(3)结果的多样性，上色图片应该有多种合理的结果，例如一只鸟可以是白色、黑色、黄色等多种不同颜色。

发明内容

本发明针对上述图片上色问题中存在的不足之处进行改善，根据指定的图片标签，例如红色的眼睛、紫色的头发等，自动对图片进行快速准确的上色。本发明提出一种基于动态记忆模块和条件生成对抗网络的的图像上色方法，首先将动漫图片的草图作为输入，得到特征图，在特征图中，利用动态记忆模块，加入图片标签信息对图片的上色结果进行指导。

为了实现上述目的，本发明采用如下技术方案：

一种基于动态记忆模块和生成对抗网络的动漫草图上色方法，网络将根据给定的图片标签，自动对草图的相应区域进行自动上色；包括以下步骤：

步骤S1：获取训练数据集，包括大量彩色动漫图片、相应的图片标签和草图。

步骤S2：构建草图上色网络模型生成器的编码器部分，将草图和对应的图片标签输入到生成器中，获取图像特征和文本特征。

进一步，所述步骤S2具体为：

步骤S21：将草图和对应的图片标签文本输入到生成器中，生成器包含了一个图像编码器、两个文本编码器、一个主解码器和一个辅助解码器。

将草图输入到图像编码器中，获得相应的图像特征其中，N＝H×Q表示图像特征中的像素个数，H和Q分别为图像特征的长和宽；表示第i个像素特征，表示图像像素特征的维度。将图片标签转换为one-hot向量，并分别输入到两个文本编码器中，两个文本编码器分别输出一个与图像特征的长宽相同的文本特征和另一个文本特征其中N表示图像像素的个数，和w_j分别表示W₁中的第i个单词特征、W中的第j个单词特征；T表示单词个数，N_w1和N_w分别表示W₁和W中单词特征的维度。