[发明专利]一种基于神经网络的肖像漫画生成方法

说明书

本发明公开了一种基于神经网络的肖像漫画生成方法，包括以下步骤：S1、提取真实人脸图像中人脸面部的结构特征，并转化为序列特征数据；S2、将序列特征数据输入到训练好的Seq2Seq VAE模型中，生成对应夸张结构序列点；S3、将生成的夸张结构序列点应用于真实人脸图像中，对真实人脸图像的夸张变形；S4、将漫画风格应用于夸张变形后的人脸图像上，生成肖像漫画。本发明开创性地提出用序列特征表示人脸结构特征，使用Seq2Seq VAE模型进行夸张序列的生成，从而应用于漫画生成。克服了现有的图像翻译方法的局限性，生成的夸张肖像漫画不仅在不损害人物角色的辨识度的同时具有幽默夸张性，也体现在不同漫画艺术家的绘画风格。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于神经网络的肖像漫画生成方法。

背景技术

肖像绘制一直到现代仍然是一种非常流行的艺术表现形式。随着机器视觉相关技术的不断发展，肖像绘制在虚拟现实、增强现实以及机器人肖像绘制系统等多媒体、个性化娱乐以及互联网等有广泛应用。为了增强肖像的艺术表现力，基于不同的艺术特性角度产生了多种类型的艺术化肖像，如素描、卡通、漫画等，漫画作为一种常见的艺术形式得到了许多学者的关注与研究。

随着人工智能的发展，越来越多的学者开始研究人工智能与艺术的结合，即计算艺术。我们可以通过数学和统计学，将艺术中包含的规律量化为数学关系，例如，黄金分割具有严格的比例性，艺术性和和谐性，并且具有丰富的审美价值。同时，这些数学关系成为计算艺术理论基础的一部分。当绘画涉及到人物的表达时，有许多不同形式的绘画艺术。

如图1所示，肖像画就包括了夸张肖像漫画，素描，卡通画和简笔画等。夸张肖像漫画，顾名思义，是指通过面部器官的夸张和变形来表达人物与大众脸的明显区别。与写实的素描相比，夸张漫画在写实的基础上增添了幽默元素。与卡通画和简笔画不同，夸张的漫画既可以满足漫画的乐趣性，同时保留人物的辨识度。然而，关于素描，简笔画和卡通画等简单艺术形式，已经有大量研究工作。与之相比，只有少数研究工作集中在夸张肖像漫画的生成上。

夸张肖像漫画的生成可以看作从真实面部图像到漫画图像的风格转换。图像到图像的转换是一类流行的视觉问题，其目标是学习目标图像的样式特征，以及输入和输出图像之间的映射。其中，基于卷积神经网络(Convolution Neural Networks,CNN)的生成对抗网络(Generative Adversarial Networks,GAN)被认为是最流行的图像翻译方法之一。但是现有的方法只能对图像的纹理和色彩进行转换，当任务存在图像内容和几何结构的改变时，基于对抗生成网络的卷积神经网络方法效果就很不理想，而夸张肖像漫画的生成就涉及到对图像内容即人脸结构的夸张变形。

为了将肖像图片直接转化为相应的肖像漫画，现有技术中的一种方法为基于样本的方法，该方法中给定一张人脸肖像图片，每一张人脸都会被分解成不同的部分(比如鼻子、嘴巴等)，对于每一个部分，应用特征匹配来搜索数据集中相应的漫画组件，然后将漫画组件组合在一起构建卡通人脸；另一种方法为基于人脸特征的方法，首先定义活动形状模型特征点，然后，基于人脸及相互关系，生成真实人脸图像中的夸张画像，再从面部形态夸张和五官夸张中得到面部夸张形状的同时，引入“对比原理”；最后，结合图像变形方法生成人脸图像的夸张画像。

上述现有技术中，基于样本的方法中需要根据不同的局部人脸特征，绘制收集大量的漫画组件来搭建数据库，工作量巨大且回话技术要求极高；拼凑出来的人脸比较固定，缺乏多样性；且最终效果只是一种对原始人脸的卡通化，并没有对输入人脸的明显特征进行变形，即不符合夸张肖像漫画的定义。而另一种基于人脸特征的方法虽然可以在一定程度上对原始人脸进行夸张，但效果不明显，且不具有人物辨识度，得到的漫画效果风格单一。

发明内容

针对现有技术中的上述不足，本发明提供的基于神经网络的肖像漫画生成方法解决了现有的肖像漫画生成方法中现有的图像翻译方法的局限性，得到的肖像漫画风格单一的问题。