[发明专利]基于双生成对抗网络的两阶段表情动画生成方法

说明书

本发明为基于双生成对抗网络的两阶段表情动画生成方法，该方法首先在第一阶段中利用表情迁移网络FaceGAN提取目标表情轮廓图中的表情特征，并将其迁移到源人脸，生成第一阶段预测图；第二阶段中利用细节生成网络FineGAN来作为补充丰富第一阶段预测图中的对表情变化贡献比较大的眼睛和嘴巴区域的细节，生成细粒度的第二阶段预测图并合成人脸视频动画，表情迁移网络FaceGAN及细节生成网络FineGAN均采用生成对抗网络实现。本申请提出两阶段生成对抗网络进行表情动画生成，第一阶段进行表情的转换，第二阶段进行图像细节的优化，通过掩模向量提取图像的指定区域，进行着重优化，同时结合局部判别器的使用，使重要部位生成效果更佳。

技术领域

本发明的技术方案涉及计算机视觉中图像数据处理，具体地说是基于双生成对抗网络的两阶段表情动画生成方法。

背景技术

人脸表情合成是指将表情从目标表情参考人脸迁移到源人脸，新合成的源人脸图像的身份信息保持不变，但是其表情与目标表情参考人脸保持一致，这项技术已逐渐应用在影视制作、虚拟现实、刑侦等领域。人脸表情合成在学术界和工业界均有着重要的研究价值，如何鲁棒地合成自然逼真的人脸表情成为一个富有挑战性的热点研究课题。

现有的人脸表情合成方法可以分为两大类，分别是传统的图形学方法和基于深度学习的图像生成方法。第一类传统的图形学方法通常使用参数模型，将源人脸图像参数化，设计模型进行表情的转换并生成新图像，或利用特征对应和光流图来扭曲人脸图像，从已有的表情数据集合成人脸补丁等，但是设计模型的过程详细且复杂，会产生很高代价的计算量，且泛化能力差。

第二类基于深度学习的表情合成方法。首先利用深度神经网络提取人脸特征，将图像从高维空间映射到特征向量，然后通过添加表情标签改变源表情特征，再利用深度神经网络合成目标人脸图像，映射回高维空间。而后GAN网络的出现为实现清晰的图像合成带来了曙光，一经提出便引发了极大的关注。在图像合成领域，涌现大量的GAN变体等研究方法来进行图像的生成。例如条件生成对抗网络(Conditional Generative AdversarialNetwork，CGAN)可以在特定监督信息下生成图像，在人脸表情生成领域，可以将表情标签作为条件监督信息，以此生成不同表情的人脸图像。现阶段，基于GAN网络的相关方法同样存在一些不足，在生成表情动画时，可能会出现不合理伪影、生成图像模糊、分辨率低等问题。

人脸表情生成是图像-图像的转换，本发明的目的是生成人脸动画，属于图像-视频的转换，比人脸表情生成任务增加了时间维度上的挑战。Xing等人在“GP-GAN:GenderPreserving GAN for Synthesizing Faces from Landmarks”一文中使用性别保留网络使网络可以学习到更多的性别信息，但该方法在人脸身份信息的保留方面仍存在不足，可能导致生成人脸与目标人脸具有不同的身份特征。CN108288072A公开了一种基于生成对抗网络的面部表情合成方法，该方法没有考虑人脸图像的细粒度生成，忽略了对源人脸图像的细节特征提取，存在生成结果较模糊、分辨率低的缺陷。CN110084121A公开了基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法，该方法采用表情独热向量监督网络的训练过程，独热向量的离散性限制了网络的学习能力，使网络仅能学习到目标情绪的表达，如高兴、悲伤、惊讶等，并不能学习到情绪的程度，对表情的连续性生成方面有欠缺。CN105069830A公开了一种表情动画生成方法及装置，该方法仅可生成六个指定模板的表情动画，而人类的表情十分丰富且复杂，因此该方法的扩展性较差，不能根据用户需求生成任意指定的表情动画。CN107944358A公开了一种基于深度卷积对抗网络模型的人脸生成方法，该方法在表情生成过程中不能保证人脸身份信息的不变性，可能存在生成人脸与目标人脸不一致的缺陷。

发明内容