[发明专利]基于草图的人脸图像生成方法及系统

权利要求书

1.一种基于草图的人脸图像生成方法，其特征在于，包括：

步骤1、通过特征提取网络提取手绘草图中人脸的多个部分，得到多个特征向量，将每个该特征向量在流形空间中的合理表达作为优化向量；

步骤2、利用特征映射网络，将优化向量解码并映射为特征张量，拼合所有特征张量得到完整的人脸特征张量，并利用图像合成网络将该人脸特征张量合成为人脸特征图像。

2.如权利要求1所述的基于草图的人脸图像生成方法，其特征在于，该步骤1包括：

步骤11、对该手绘草图中人脸图像采用重叠窗口设置左眼区域、右眼区域、鼻子区域和嘴巴区域的分割区域，并通过反选左眼区域、右眼区域、鼻子区域和嘴巴区域的分割区域得到其他区域，对每个区域c单独提取特征

步骤12、以每个区域的特征作为训练数据，训练自动编码网络，得到编码器模型E^c，该自动编码网络包括多层解码器和多层编码器，并在编码器和解码器中间设有全连接层，且在编码器和解码器的每个卷积或反卷积操作之后添加一个残差块来构建隐含层描述子。

3.如权利要求2所述的基于草图的人脸图像生成方法，其特征在于，该步骤1包括：

步骤13、构造用于训练的草稿图像数据集s＝{s_i}到隐含层的训练集合，对该训练集合中每张图片进行特征提取，对于某个区域c，利用该编码器模型E^c构建该训练组成的隐含层特征集合该隐含层特征集合F^c所有的特征点分布在一个低维的流形空间M^c内；

步骤14、当输入手绘草图后，使用该编码器模型E^c提取到对应区域c的特征向量采用检索和插值的方法将第c个部分的特征向量投影至流形空间Mc上，表示为到M^c；

其中检索和插值的方法具体包括：

步骤141、对区域c的特征向量通过计算特征向量之间的欧式距离，来检索到在训练集到特征集合F^c中最相近的K个样例表示K个最近样例的集合，来表示在流形空间M^c的相邻特征；

步骤142、通过下式以最小化问题求解插值权重：

其中是样本的未知权重，通过求解单个分量的约束最小二乘，可以求出各分量的权重；

步骤143、给定求解的权重在流形空间M^c上的投影点可以表示为：

其中是的该优化向量，用于图像合成。

4.如权利要求3所述的基于草图的人脸图像生成方法，其特征在于，该步骤2包括：

步骤21、将隐含层空间中的该优化向量映射到多通道特征中，生成三维特征张量，将每个区域的三维特征张量根据手绘草图中人脸组件的确切位置进行拼合，得到完整的人脸特征张量。

5.如权利要求4所述的基于草图的人脸图像生成方法，其特征在于，还包括：

步骤3、当给定当前的绘画草图，将该草稿图像数据集中与该绘画草图K个最相似的草图图像加权叠加在一起后以30％透明度的阴影图形式显示在画板上，当用户进行绘画时，实时更新该阴影图。

6.一种基于草图的人脸图像生成系统，其特征在于，包括：

模块1、通过特征提取网络提取手绘草图中人脸的多个部分，得到多个特征向量，将每个该特征向量在流形空间中的合理表达作为优化向量；

模块2、利用特征映射网络，将优化向量解码并映射为特征张量，拼合所有特征张量得到完整的人脸特征张量，并利用图像合成网络将该人脸特征张量合成为人脸特征图像。