[发明专利]一种从单幅图像生成人脸动画的方法

摘要

本发明公开了一种从单幅图像生成人脸动画的方法。该方法主要分为四个步骤：图像中人脸特征点生成、图像全局二维形变、人脸区域细节的优化、口腔区域纹理的生成。本发明可以根据人脸特征点变化实时地生成人脸动画，动画质量达到当前最先进的人脸图像动画技术的水平。本发明可以用在一系列应用中，如人脸图像编辑，基于单幅图像的肖像动画生成，以及视频中人脸表情的编辑。

主权项

1.一种从单幅图像生成人脸动画的方法，其特征在于，包括以下步骤：(1)图像中人脸特征点生成：计算图像中人脸与背景区域的特征点；(2)图像全局二维形变：基于步骤(1)得到的初始特征点，以及用户或程序指定的特征点变化，通过全局二维形变，生成符合特征点约束的形变图像；(3)人脸区域细节的优化：通过生成对抗神经网络来优化形变图像中人脸区域的纹理，所述人脸区域不包含口腔区域；(4)口腔区域纹理的生成：通过生成对抗神经网络来合成口腔区域纹理，并生成最后的人脸动画图像；所述步骤(1)包括如下子步骤：(1.1)人脸区域特征点的生成：检测目标人物初始图像脸部二维特征点、人物身份系数、表情系数及刚体变换系数，通过传递驱动人物的表情系数及刚体变换系数，生成对应的三维混合形变模型，将其投影到二维平面，得到偏移后的人脸特征点；(1.2)背景区域特征点的生成：检测并追踪驱动视频中的非人脸区域特征点，并通过下式将其转化到目标图像中：其中，s表示驱动人物，t表示目标人物，是目标人物偏移后的非人脸区域特征点，是驱动人物当前第i帧对应的特征点，是目标人物初始人脸特征点与驱动人物初始人脸特征点之间的刚体变换矩阵；通过上式，得到目标图像的非人脸区域特征点。