[发明专利]一种基于面部微表情的可控人脸生成方法

说明书

本发明公开了一种基于面部微表情的可控人脸生成方法，包含以下步骤：(1)人脸图像的预处理；(2)构造面部微表情驱动的卷积神经网络；(3)基于面部微表情参数进行可控人脸生成。本发明通过构造卷积神经网络，能够利用面部微表情提取人物脸部的内在运动细节，使得构造的网络可以人为控制生成结果，同时保持了优异的图像质量。

技术领域

本发明涉及一种基于面部微表情的可控人脸生成技术，属于数字图像处理、深度学习技术领域。

背景技术

对于人脸图像生成技术通常有以下两种方法：1.基于真实图像的生成神经网络；2.基于参数控制的生成网络，但这两种方法都存在一定的缺陷。

1、基于真实图像的生成神经网络

基于真实图像的生成神经网络是从输入图像中提取人物的面部运动，并在生成图像中重建运动。一方面，研究人员收集了VoxCeleb、GRID等大规模多模态数据集用来支撑该任务的研究；另一方面，研究人员对多种新的人脸生成方法进行了深入研究。这类研究可以分为以下两个方面：

(1)基于关键点的方法，基于关键点的方法与传统方法相比最重要的是引入了像素坐标信息。在图像处理中，关键点提供了图像形状和边缘和的细节性描述，比较适合于图像生成任务。研究人员对基于关键点的方法进行了较深入的研究，在生成准确的运动的同时保留人物身份不变。比如Siarohin等人提出的基于无监督关键点的FOMM方法利用将运动表示为关键点局部区域的仿射变换，使用空间变换的方法来重建目标运动。

(2)基于潜在向量的方法，基于潜在向量的方法将输入信息转化为潜在向量，利用潜在编码来表示人物特征。与基于关键点的方法不同的是，基于潜在编码的方法不对图像进行空间变换，而是将潜在向量输入到卷积神经网络中得到结果。最近的研究人员对基于潜在向量的方法不断提出改进，同样得到了逼真的结果。比如Ren等人提出的基于单维潜在向量的PIRenderer方法使用自适应实例规范化(AdaIN)向卷积神经网络注入蕴含目标信息的潜在编码，最后用对抗式生成网络(GAN)训练学习整个网络。

尽管基于真实图像的生成神经网络取得了比较好的生成结果，但是这类方法只能够处理、复现真实图像中存在的表情，没有考虑参数的可控性与可解释性，使得这类方法的生成结果无法人为控制生成细节。

2、基于参数控制的生成神经网络

基于参数控制的生成神经网络是指对静态人像图片进行人为操控和属性编辑，例如改变人物的面部表情等。研究人员对多种新的面部编辑方法进行了深入研究。这类研究可以分为以下两个方面：

(1)基于宏观面部表情的方法，基于宏观面部表情的方法基于离散的情绪类别，如高兴、惊奇、恐惧、悲伤、厌恶和愤怒等。在面部属性编辑中，宏观面部表情提供了面部运动的整体性描述，影响着生成结果的可解释性。但此类方法无法生成平滑的面部表情过渡，使得对人脸图像的生成结果没有达到理想的效果。

(2)基于面部微表情的方法，基于面部微表情的方法大都是基于Ekman和Friesen提出的面部表情编码系统。该系统将面部微表情定义为面部肌肉协调运动的组合结果，用运动单元(Action Unit,AU)来描述面部表情。这些运动单元是基于生物学和解剖学上特定面部肌肉的收缩制定的。最近研究人员也对基于面部微表情的方法展开研究。比如：Pumarola等人提出的基于CycleGan的Ganimation方法利用面部表情编码系统操控人物表情，通过将生成图像再次输入到编码器中训练来尽可能保持人物身份准确。该方法相比于基于宏观面部表情的方法，具备更多的可解释参数，可以人为控制生成细节。

尽管基于参数控制的生成神经网络取得了一定的生成结果，但是同其他人脸生成方法，例如基于真实图像驱动的生成神经网络相比，现有方法仍无法生成足够清晰的结果。而本发明正好可以解决这种问题。

发明内容