[发明专利]一种基于几何对比生成对抗网络的面部表情合成方法

说明书

本发明中提出的一种基于几何对比生成对抗网络的面部表情合成方法，其主要内容包括：几何对比生成对抗网络的表示、组成、架构和设置，其过程为，给定由一组面部标记指定的输入面部和目标表情，可以通过目标表达式来引导生成身份保持面部，几何对比生成对抗网络由面部几何嵌入网络、图像生成器网络和图像鉴别器网络组成，几何嵌入网络用于通过对比学习将面部标志映射到潜在空间中的语义流形上，几何对比生成对抗网络以多任务方式进行训练，其中使用了对比学习、对抗学习和重构学习，最后形成联合目标。本发明提出了几何对比生成对抗网络，流形对全局和局部面部几何变化敏感，也适用于其他面部表情特征，生成的表情逼真度和分辨率都很高。

技术领域

本发明涉及面部表情合成领域，尤其是涉及了一种基于几何对比生成对抗网络的面部表情合成方法。

背景技术

人脸作为人类最重要的外部特征，人类大部分的表达与交流都是通过面部表情进行的，因此人类表情在人与人的通信交流中起着极其重要的作用。随着情感计算等相关领域的研究深入，人脸表情的分析与合成已经成为计算机视觉和模式识别领域一个备受关注的研究方向，其在远程视频会议、人机交互、虚拟现实、三维计算机动画、基于内容的图像检索和医疗等方面都有着广泛的应用前景。如在电影、广告以及游戏制作等方面，制作者运用表情动画技术为角色制作了活灵活现的表情，为电影增添了新的魅力。同样地，在游戏中也可以使用三维虚拟角色以及场景来丰富游戏应用，增加用户身临其境的感觉。在医疗诊断领域，计算机模拟面部运动可以辅助实际的面部外科手术，预演脸部整形手术及诊治过程，使得在手术前就可以大致了解手术效果，提高手术成功率。然而，由于面部表情变化和个体差异的高度非线性，面部表情合成在语义水平上仍然是持久的挑战。因此，如何应用语义信息来指导面部表情的合成仍然是一个悬而未决的问题。

本发明提出了一种基于几何对比生成对抗网络的面部表情合成方法，给定由一组面部标记指定的输入面部和目标表情，可以通过目标表达式来引导生成身份保持面部，几何对比生成对抗网络由面部几何嵌入网络、图像生成器网络和图像鉴别器网络组成，几何嵌入网络用于通过对比学习将面部标志映射到潜在空间中的语义流形上，几何对比生成对抗网络以多任务方式进行训练，其中使用了对比学习、对抗学习和重构学习，最后形成联合目标。本发明提出了几何对比生成对抗网络，流形对全局和局部面部几何变化敏感，也适用于其他面部表情特征，生成的表情逼真度和分辨率都很高。

发明内容

针对如何应用语义信息来指导面部表情合成的问题，本发明的目的在于提供一种基于几何对比生成对抗网络的面部表情合成方法，给定由一组面部标记指定的输入面部和目标表情，可以通过目标表达式来引导生成身份保持面部，几何对比生成对抗网络由面部几何嵌入网络、图像生成器网络和图像鉴别器网络组成，几何嵌入网络用于通过对比学习将面部标志映射到潜在空间中的语义流形上，几何对比生成对抗网络以多任务方式进行训练，其中使用了对比学习、对抗学习和重构学习，最后形成联合目标。

为解决上述问题，本发明提供一种基于几何对比生成对抗网络的面部表情合成方法，其主要内容包括：

(一)几何对比生成对抗网络的表示；

(二)几何对比生成对抗网络的组成；

(三)几何对比生成对抗网络的架构和设置。

其中，所述的基于几何对比生成对抗网络的面部表情合成方法，用于在语义层次上合成以几何信息为条件的面部表情图像；几何对比生成对抗网络(GC-GAN)由面部几何嵌入网络、图像生成器网络和图像鉴别器网络组成；具体而言，几何嵌入网络用于通过对比学习将面部标志映射到潜在空间中的语义流形上。

其中，所述的几何对比生成对抗网络的表示，GC-GAN分别使用和表示面部图像和面部几何，上标e表示情绪状态，下标i表示身份；给定源面部图像和由一组面部标志表示的目标面部表情GC-GAN旨在生成以目标面部表情为条件的新的保持身份的面部图像