[发明专利]一种基于深度学习的人脸漫画生成方法及其装置

说明书

本发明公开开了一种基于深度学习的人脸漫画生成方法及其装置，其中，该方法包括：获取个人图像，标定出77个人脸特征点；进行重新估计及旋转操作，获得含有正面标准姿态人脸的图像；根据其图像构建人脸矩形框；并等比放大三倍、进行裁剪，构建人头图像块；同时，裁剪出人脸矩形框对应图像，进行归一化处理，并依次送入预先训练好的人脸及五官属性多标签分类深度卷积神经预测网络，获得人脸的性别及五官属性标签；根据人脸的性别及五官属性标签、人头图像块及人脸矩形框对应图像，在漫画素材库中选择相应的素材，进行相应形变处理，获得五官、头发及人脸肤底的漫画素材；然后进行拼接处理，最终获得漫画图像。在本发明实施例中，能够实现智能化人脸漫画的绘制，不惜要任何的人工辅助。

技术领域

本发明涉及计算机非真实渲染技术领域，尤其涉及一种基于深度学习的人脸漫画生成方法及其装置。

背景技术

近年来，随着计算机图像处理技术的发展，越来越多的人脸漫画生成应用如脸萌、魔漫相机、FaceU走进了我们的生活，它们都使用计算机图像处理技术对真实的人像进行渲染，从而生成生动的人物漫画形象。一般而言，需要生成人脸漫画图像传统的漫画生成系统可以分为两类，第一类是依靠素材拼组合来创作漫画的漫画生成系统，其典型应用实例为手机应用“脸萌”。另外一类漫画生成装置是以计算机图像处理技术为基础的，直接对真人人像进行修改，再将修改后的真人人像与预先准备好的模板素材相融合构成漫画的漫画生成装置，其代表作为魔漫相机。如“脸萌”的技术缺点：(1)人脸漫画生成的一大要素是要像，即生成的漫画和目标真实人脸之间应该存在着一定程度的相似性。而在脸萌的技术方案中，生成漫画所用的所有素材都需要通过用户手动挑选，这就导致了用户很难快速地拼合出一幅与目标真实人脸极为神似的人脸漫画，同时这样手动拼接素材的方式也不利于批量地创作漫画或是动画化。

(2)在“脸萌”中，漫画素材虽然可以随意替换，但是漫画素材拼接的位置是固定的，这减少了生成的漫画与真实人脸之间的契合度。

(3)在脸萌中，可供挑选的素材是有限的，有限的素材无法满足所有人都创建出属于自己的独一无二的漫画形象的需求。

又如魔漫相机，其缺点：(1)将整幅人脸当做图像，利用计算机图像处理技术进行处理的方法进行漫画人脸生成，生成的漫画人脸看上去更像是一幅灰色的人脸照片，较为生硬，不具备漫画的艺术效果。

(2)偏向真实的漫画人脸与艺术家创作的其他可选素材之间存在着不匹配，这让生成的漫画效果显得不自然。

(3)为了让漫画人脸与其他素材相匹配，漫画生成装置需要人工仔细挑选所使用的漫画素材以免产生违和感，这就导致了魔漫相机所支持的漫画风格极其有限。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于深度学习的人脸漫画生成方法及其装置，能够通过将类别中的素材进行形变的方式，获取所需的素材，这样的好处是一方面减少了对于漫画素材的需求，另一方面增大了漫画素材与真人照片的契合程度，实现智能化人脸漫画的绘制，不惜要任何的人工辅助。

为了解决上述问题，本发明提出了一种基于深度学习的人脸漫画生成方法，所述方法包括：

获取个人图像，利用主动形状模型在照片中标定出77个人脸特征点；

根据标定的36号左眼眼球特征点和39号右眼眼球特征点对图像中的人脸倾斜角度进行估计处理，通过计算出的倾斜角度对原图像进行旋转操作，使得36号左眼眼球特征点和39号右眼眼球特征点达到水平位置，即获得含有正面标准姿态人脸的图像；

获取含有正面标准姿态人脸图像，通过主动形状模型标定出其图像中77个特征点，从中获取2号、12号、15号和17号四个特征点，构建人脸矩形框；

将人脸矩形框按中心不变的方式等比放大三倍，并将其放大后的矩形框圈定的图像区域进行裁剪，构建人头图像块；