[发明专利]一种基于GAN和三维模型参数的可调人脸图片生成方法

说明书

本发明公开了一种基于GAN和三维模型参数的可调人脸图片生成方法，包括如下步骤：S1、生成网络将4*4的图片通过生成器生成的图片和真实图片都送到判别器，让生成器在4*4阶段达到初始可用状态；S2、生成器由随机向量z产生，通过全连接映射网络，生成中间层w，w分出style向量；S3、四维连续拟合人脸模型4DFace，通过脸型、动作、表情、姿势的参数向量控制4DFace产生标准三维人脸集合渲染结果；本发明结构科学合理，使用安全方便，能够在StlyleGAN控制高级控制的基础上，扩展控制向量，达到可控制精细外形的目的，可以扩展控制向量，达到可控制精细外形的目的。

技术领域

本发明涉及人脸生成技术领域，具体为一种基于GAN和三维模型参数的可调人脸图片生成方法。

背景技术

当前，一方面通过GAN或者GAN的衍生算法来生成二维的人脸图片已经比较成熟了，效果也非常好，但无论是脸型、动作还是表情都无法编辑，算法生成是什么样的就是什么样的；

另一方面，三维捏脸模型现在对于生成动态的三维人脸模型也比较成熟了，能够很容易控制脸型、动作和表情，但是生成的三维模型渲染后能让人一眼就识别不是真人，很多局部细节很难逼真的模拟，比如牙齿、眼睛的局部会失真。

发明内容

本发明提供一种基于GAN和三维模型参数的可调人脸图片生成方法，可以有效解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于GAN和三维模型参数的可调人脸图片生成方法，包括如下步骤：

S1、生成网络将4*4的图片通过生成器生成的图片和真实图片都送到判别器，让生成器在4*4阶段达到初始可用状态；

S2、生成器由随机向量z产生，通过全连接映射网络，生成中间层w，w分出style向量；

S3、四维连续拟合人脸模型4DFace，通过脸型、动作、表情、姿势的参数向量控制4DFace产生标准三维人脸集合渲染结果；

S4、在训练过程中进一步使用纹理一致性损失优化来约束生成器；

S5、通过生成器判定生成的图片质量，反复迭代，让生成器和判定器同步提升到成熟水平，逐步提升训练网络的分辨率从4*4，提升到8*8，然后一直按照清晰度长宽都翻倍的步骤，逐步提升到1024*1024，从而完成输出。

根据上述技术方案，所述S2中产生的style向量利用自适应实例标准化层AdaIN来转化生成适用于4*4的converted_style向量A，在生成器中按照StyleGAN的方式根据向量A生成了相应的未加噪声图片输出。

根据上述技术方案，所述S3中4DFace控制所有几何类参数，包括外表和光照参数控制脸的颜色；

将StyleGAN的随机噪声输入，改为链接纹理化的三维模型输出mesh数据，然后将这些数据scaling之后以StyleGAN噪音的形式以不同分辨率版本插入到GAN生成器中，生成器由此生成带由三维几何操控影响的人脸图片。

根据上述技术方案，所述S4中在S3步中相应的三维mesh，被投射到生成的人脸图片方向，而得到一个局部的纹理映射，将损失函数应用到一对对的生成图片纹理映射的区别中，然后通过最小化差异的损失函数，进一步改善了参数的控制的有效性。

根据上述技术方案，所述S5中反复迭代中期间会经历持续间歇性的判定器锁定过程。