[发明专利]一种基于绘画笔触指导的人脸素描生成方法

说明书

本发明公开了一种基于绘画笔触指导的人脸素描生成方法。本发明步骤如下：步骤(1)数据预处理，将所有数据集的图片经过调整尺寸和裁剪的操作缩放到统一大小；步骤(2)笔触分类器模型的构建及预训练，自定义笔触标签，构建笔触分类器网络模型，完成模型的预训练，保留训练好的模型参数；步骤(3)生成对抗网络模型的构建，分别构建生成器和判别器两个网络模型；步骤(4)生成对抗网络模型的训练，定义损失函数，训练生成对抗网络模型；步骤(5)人脸素描的生成及质量评价。本发明提出了利用笔触分类器辅助指导人脸素描生成的方法，并完成了人脸素描的高质量生成。

技术领域

本发明提到了一种基于绘画笔触指导的人脸素描生成(Face2Sketch GenerationBased on Brushstroke Instruction)的新方法，主要涉及一种利用卷积神经网络进行分类训练得到的深层特征即绘画笔触构图信息和全局信息，以构建一个与人工绘画效果更加一致的人脸素描生成模型。

背景技术

图像处理的很多问题都是将一张输入的图片转变为一张对应的输出图片，比如灰度图、梯度图、彩色图之间的转换等。人脸素描生成的本质就是图像间的转换问题，最终目的是希望完成一张人脸照片到对应的素描图像的高质量转换。

目前比较流行的算法是pix2pix，他能够较好地实现人脸素描的生成，但是其生成的素描图像质量不高，特别是生成素描的线条笔触非常的模糊，此外，其在人脸局部细节的生成效果依然有很大的提升空间。

发明内容

本发明的目的是针对人脸素描生成精度的问题，提供一种基于绘画笔触指导的人脸素描生成方法。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤(1)数据预处理

将所有数据集的图像经过调整尺寸和裁剪的操作缩放到统一大小；

步骤(2)笔触分类器网络模型的构建及预训练

自定义笔触标签，构建笔触分类器网络模型，完成模型的预训练，保留训练好的模型参数；

步骤(3)生成对抗网络模型的构建

分别构建生成器和判别器两个网络模型；

步骤(4)生成对抗网络模型的训练

定义损失函数，训练生成对抗网络模型；

步骤(5)人脸素描的生成及质量评价

依次将待处理的人脸图像输入到训练后的生成对抗网络模型中，得到对应的人脸素描画图像，并根据指标完成质量评价；

进一步的，步骤(1)所述的数据预处理：

1-1选择CUFS数据集，按照标准数据集划分方法，随机取168张人脸图像和对应的素描画图像作为训练集，其余143张的人脸图像和对应的素描画图像作为测试集；

1-2对图像(包括人脸图像和素描画图像)进行预处理，先将图像填充到286*286大小，然后对图像进行随机裁剪并做数据标准化处理，最终得到的图像大小变为256*256，其中图像中的人脸图像的通道数为3，素描画图像的通道数为1；

进一步的，步骤(2)所述的笔触分类器网络模型的构建及预训练具体实现如下：

2-1使用人脸分割网络BiseNet生成Mask数据集

通过人脸分割网络BiseNet对预处理后数据集中的人脸图像做语义解析，为每个语义成分分配一个像素级标签并进行标注。

所述的语义成分包括头发、面部皮肤、眼睛、鼻子、嘴巴等。

最后获得的20个人脸语义标签如下：