[发明专利]一种基于神经网络的肖像漫画生成方法

权利要求书

1.一种基于神经网络的肖像漫画生成方法，其特征在于，包括以下步骤：

S1、提取真实人脸图像中人脸面部的结构特征，并将提取的结构特征数据转化为序列特征数据；

S2、将序列特征数据输入到训练好的Seq2Seq VAE模型中，生成人脸图像对应的夸张结构序列点；

S3、利用薄板样条插值技术，将生成的夸张结构序列点应用于真实人脸图像中，实现对真实人脸图像的夸张变形；

S4、利用CycleGAN技术，将漫画风格应用于夸张变形后的人脸图像上，生成肖像漫画；

所述步骤S1中人脸面部的结构特征包括人脸面部的轮廓结构特征和五官结构特征；

所述步骤S1具体为：

提取真实人脸图像的68个序列点来作为人脸面部的结构特征数据，并根据每个序列点的绝对坐标值，得到每个序列点相对于前一个序列点的偏移坐标序列，该偏移坐标序列即为序列特征数据；

其中，每个序列点均为添加了状态值的序列点，添加了状态值的序列点表示为Q(x，y，p₁，p₂，p₃)；

其中x和y表示该序列点相对于前一序列点在x和y方向上的偏移距离；

p₁，p₂，p₃表示三种面部状态的二进制one-hot向量；p₁表示该序列点是面部轮廓或五官的起点，p₂表示该序列点与前一序列点为相同器官，p₃表示该序列点是68个序列点中的最后一个点；

所述步骤S2中训练Seq2Seq VAE模型的方法具体为：

A1、将一幅真实人脸图像中人脸面部的结构特征的正序序列及其反序序列输入到编码器中，得到正序特征向量和反序特征向量并将其连接成最终特征向量h；

A2、将最终特征向量h通过两个全连接层网络分别映射为平均向量μ和标准差向量σ，并采样得到一个使平均向量μ和标准差向量σ服从正态分布的随机向量z；

A3、将随机向量z输入到解码器中，得到初步训练的Seq2Seq VAE网络；

A4、依次将若干幅真实人脸图像输入到前一次训练的Seq2Seq VAE网络中，重复步骤A1-A3，直到Seq2Seq VAE网络收敛，得到训练好的Seq2Seq VAE模型；

所述步骤A1中的编码器包括一个双向LSTM网络模块，所述双向LSTM网络模块包括两个层数均为68的LSTM网络；

所述步骤A1具体为：

将一幅真实人脸图像中人脸面部的结构特征的正序序列中的每个数据输入到一个LSTM网络中，得到正序特征向量同时将一幅真实人脸图像中人脸面部的结构特征的反序序列的每个数据输入到另一个LSTM网络中，得到反序特征向量将正序特征向量和反序特征向量连接成最终特征向量h；

其中，正序序列

反序序列

其中，i＝0，1，2...67；

所述步骤A2中；

随机向量z为：

z＝μ+σ⊙N(0，1)

其中，⊙表示向量点乘法；

N(0，1)为IID高斯矢量；

所述步骤A3中，所述解码器为一个时间长度为68的LSTM网络；

所述LSTM网络每一时刻输入元素还包括从前一时刻得到的向量T_t和源点S_t；

所述LSTM网络每一时刻均输出向量O_t，且当前时刻t的输出向量O_t通过高斯混合模型采样得到向量T_t，并输入到下一时刻的LSTM网络；

其中，t表示时刻，t＝0，1，2...67；

初始时刻输入到LSTM网络中的向量T₀和源点S₀均初始化为(0，0，1，0，0)。

2.根据权利要求1所述的基于神经网络的肖像漫画生成方法，其特征在于，当前时刻t的输出向量O_t通过高斯混合模型采样得到向量T_t的方法具体为：

B1、确定高斯混合模型中正态分布的数量N，将输出向量O_t的维度设置为6N，将O_t分解为：

其中，n表示第n个高斯混合模型；

x表示横坐标；

y表示纵坐标；

w_n表示第n个高斯混合模型的权重矩阵，且

μ_(x，n)表示横坐标x的期望；

μ_(y，n)表示纵坐标y的期望；

σ_(x，n)表示横坐标x的标准差；

σ_(y，n)表示纵坐标y的标准差；

ρ(xy，n)表示相关系数；

B2、确定分解后的O_t输入到高斯混合模型时，采样得到T_t的概率p(x，y；t)；

其中，概率p(x，y；t)为：

其中，w(n，t)表示t时刻的第n个高斯混合模型的权重矩阵；

N(x，y)表示坐标(x，y)服从正态分布，参数为μ，σ，ρ；

μ(x，n，t)表示t时刻第n个高斯模型横坐标的期望；

μ(y，n，t)表示t时刻第n个高斯模型纵坐标的期望；

σ(x，n，t)表示t时刻第n个高斯模型横坐标的标准差；

σ(y，n，t)表示t时刻第n个高斯模型纵坐标的标准差；

ρ(xy，n，t)表示相关系数；

B3、将概率p(x，y；t)带入重构误差函数中，得到重构误差，最大化重构误差使高斯混合模型输出目标向量T_t；

其中，重构误差函数为：

其中，L_R为重构误差；

(x，y)表示特征点的横纵坐标。