[发明专利]人脸简笔画生成方法及装置

权利要求书

1.一种人脸简笔画生成方法，其特征在于，所述方法包括：

从接收到的图像中裁剪出人脸图像，并预测所述人脸图像中人脸的属性类别；

将所述人脸图像输入已训练的通用人脸肖像合成模型，以使所述通用人脸肖像合成模型合成所述人脸图像的第一人脸简笔画；

确定所述属性类别需使用的已训练的专用人脸肖像合成模型，并将所述人脸图像输入所述专用人脸肖像合成模型，以使所述专用人脸肖像合成模型合成所述人脸图像的第二人脸简笔画；

将所述第一人脸简笔画和所述第二人脸简笔画进行融合，得到第三人脸简笔画。

2.根据权利要求1所述的方法，其特征在于，预测所述人脸图像中人脸的属性类别，包括：

将所述人脸图像输入已训练的预测模型，以由所述预测模型中的特征提取网络提取所述人脸图像的特征图并输出给所述预测模型中的属性预测网络，所述属性预测网络基于所述特征图预测人脸的属性类别。

3.根据权利要求2所述的方法，其特征在于，各属性类别对应的专用人脸肖像合成模型的训练过程包括：

获取人脸样本集，所述人脸样本集中的每一人脸样本标记有属性类别，所述属性类别包括年轻男性、年轻女性、老年男性及老年女性；

获取所述人脸样本集中每一人脸样本对应的真实人脸简笔画；

针对每一属性类别，构建对应的专用人脸肖像合成模型和判别模型，并利用标记有该属性类别的人脸样本和对应的真实人脸简笔画以交替迭代方式优化已构建的专用人脸肖像合成模型和判别模型；

其中，所述专用人脸肖像合成模型输入为人脸样本，输出为合成的人脸简笔画；所述判别模型输入为合成的人脸简笔画，输出为所述人脸简笔画的判别结果和人脸属性，以及输入为真实人脸简笔画，输出为所述真实人脸简笔画的判别结果和人脸属性；

所述判别模型的损失值由合成的人脸简笔画的判别结果和类别、真实人脸简笔画的判别结果和属性类别得到，所述专用人脸肖像合成模型的损失值由合成的人脸简笔画与人脸样本之间的内容损失值、合成的人脸简笔画与真实人脸简笔画之间的风格损失值、所述判别模型的损失值得到。

4.根据权利要求2所述的方法，其特征在于，所述预测模型还包括权重预测网络，特征提取网络提取所述人脸图像的特征图并输出给权重预测网络，所述权重预测网络基于所述特征图预测融合权重；

将所述第一人脸简笔画和所述第二人脸简笔画进行融合，得到第三人脸简笔画，包括：

利用所述融合权重对所述第一人脸简笔画和所述第二人脸简笔画进行融合。

5.根据权利要求3所述的方法，其特征在于，所述预测模型的训练过程包括：

利用所述人脸样本集中的每一人脸样本优化已构建预测模型中的特征提取网络和属性预测网络，直至特征提取网络和属性预测网络收敛；

利用所述人脸样本集中的每一人脸样本经过已优化的特征提取网络得到的特征图优化已构建预测模型中的权重预测网络，直至所述权重预测网络的损失值低于预设值；

其中，所述权重预测网络的损失值为人脸样本与融合得到的第三人脸简笔画之间的内容损失值，所述第三人脸简笔画为人脸样本分别经过通用人脸肖像合成模型和对应的专用人脸肖像合成模型得到第一人脸简笔画和第二人脸简笔画后，利用人脸样本的特征图经过权重预测网络得到的融合权重对第一人脸简笔画和第二人脸简笔画进行融合得到。

6.根据权利要求1所述的方法，其特征在于，在从接收到的图像中裁剪出人脸图像之后，所述方法还包括：

将所述人脸图像输入已训练的人脸解析模型，以使所述人脸解析模型对所述人脸图像中的人脸各部位区域进行分割，并获取所述人脸解析模型输出的面部区域的位置；

将所述第一人脸简笔画和所述第二人脸简笔画进行融合，得到第三人脸简笔画之后，所述方法还包括：

对所述第三人脸简笔画进行后处理操作；

对处理后的第三人脸简笔画中位于所述面部区域中的简笔画进行调整，并对调整后的第三人脸简笔画进行矢量化操作，得到最终的人脸简笔画。