[发明专利]根据真人人脸照片生成3D人脸模型的方法与装置

权利要求书

1.一种根据真人人脸照片生成3D人脸模型的方法，其特征在于，包括：

获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；

根据所述目标人脸图像生成3D人脸模型。

2.如权利要求1所述的方法，其特征在于，所述第一对抗神经网络模型包括神经网络CycleGAN，所述第一对抗神经网络模型的训练过程包括：

基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到训练用真人人脸照片数据集，根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；

将所述训练用真人人脸照片数据集作为输入，所述训练用人脸图像数据集作为输出训练所述第一对抗神经网络模型。

3.如权利要求1所述的方法，其特征在于，所述第二对抗神经网络模型包括神经网络StyleGAN，所述第二对抗神经网络模型的训练过程包括：

根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；

基于预训练人脸数据网络和所述训练用人脸图像数据集，通过冻结所述生成网络的至少一个网络层并进行迁移学习来对所述生成网络的其它网络层进行训练。

4.如权利要求3所述的方法，其特征在于，所述冻结所述生成网络的至少一个网络层，包括：

冻结所述生成网络的分辨率最低的一个网络层或分辨率最低的两个网络层或分辨率最低的三个网络层。

5.如权利要求3或4所述的方法，其特征在于，所述利用训练好的对抗神经网络模型对所述真人人脸照片进行处理，包括：

基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到多张真人人脸照片；

从所述多张真人人脸照片中选出与所述待处理的真人人脸照片最相似的真人人脸照片，将选出的真人人脸照片对应的随机向量作为所述待处理的真人人脸照片对应的输入向量，将所述待处理的真人人脸照片对应的输入向量输入所述第二对抗神经网络模型。

6.如权利要求1所述的方法，其特征在于，所述根据所述目标人脸图像生成3D人脸模型，包括：

根据所述目标人脸图像生成捏脸参数；

根据所述捏脸参数生成所述3D人脸模型。