[发明专利]一种实时语音驱动的照片级真实感人脸肖像视频生成方法

说明书

本发明公开了一种实时语音驱动的照片级真实感人脸肖像视频生成方法，属于计算机图形学和计算机视觉领域。该方法包括：使用深度神经网络来提取深度语音特征；使用流形投影将输入语音投影到目标人物的语音空间；使用嘴部预测网络从深度语音特征生成嘴部运动；使用头部姿态预测网络从深度语音特征生成目标任务人脸姿态和上半身运动；使用条件图片到图片转换网络来合成照片级真实感的肖像图片。本发明在给定输入语音流下，以实时速度(超过30帧/秒)生成语音对应的目标人脸的照片级真实肖像视频。本发明对于输入语音泛化性强，并且能够成功合成个性化的人脸细节，同时允许用户对于生成头部姿态进行显式控制。

技术领域

本发明涉及计算机图形学和计算机视觉领域，具体地说，本发明涉及一种实时语音驱动的照片级真实感人脸肖像视频生成方法及其装置、存储介质和终端。

背景技术

语音驱动的人脸动画是在计算机图形学和计算机视觉领域中被大量研究的课题，对于交互式应用，例如虚拟数字人，视频会议，视觉特效，视觉配音都有重要的价值。随着深度学习的发展，人们已经在该领域取得了巨大的进展。然而，获得真实且有感染力的人脸动画依然是一个巨大的挑战。该挑战由几个方面构成。首先，生成嘴唇同步且具有个性化的人脸运动是一个困难点，并由两部分组成：1)从一维语音信号到高维人脸运动的映射是一对多的映射，并没有唯一解；2)输入语音和目标人物语音很大可能处在不同的空间流形上，这使得难以去捕捉说话人的个性。其次，头部和身体运动也是逼真的说话人动画的重要部分，但是与语音的关系并不密切。然后，合成可控的照片级真实的渲染图片并不容易。当前的传统图形学渲染引擎仍然不能满足要求，其结果可以一眼被认出为假冒的。最后，许多交互式场景需要整个系统以实时速率运行，这对系统效率和质量提出很高的要求。

当前针对语音驱动的说话人肖像视频生成的方法主要分为两类。

第一类是基于视频编辑的方法。该类方法通常在一段目标视频上做编辑，例如，合成嘴部附近区域并将其融合到目标帧中，并保持其他区域不变。如Justus Thies和MohamedElgharib等人(Justus Thies,et al.2020.Neural voice puppetry:Audio-drivenfacial reenactment.In European Conference on Computer Vision.Springer,716–731.)提出的Neural Voice Puppetry方法，该方法首先从语音序列中学习了一个泛化的人脸三维模型，然后使用目标人物的视频微调该模型，来学习具有个人特点的表情基，从而保持个性化说话特点。他们最终使用一个神经渲染器生成嘴部区域纹理并融合到目标帧中。

第二类是基于图片生成的方法。该类方法通常需要一张或多张参考人脸图片，然后对该图片进行变形，生成最终的肖像图片。如Yang Zhou和Xintong Han等人(Yang Zhou,et al.2020.MakeltTalk:speaker-aware talking-head animation.ACM Transactionson Graphics(TOG)39,6(2020),1–15.)提出了Make It Talk方法，该方法使用稀疏人脸关键点作为中间表征方式。其方法首先从语音输入推导出关键点的运动，然后作为图片至图片转换网络的输入来生成人脸动画视频。

然而，上述两种方法都无法满足当前对于实时语音驱动的照片级真实感人脸肖像视频生成方法的需求，都会遇到相应的问题。第一类方法会遇到以下问题；首先，生成动画的长度限制于目标视频的长度。其次，头部姿态和上半身运动是直接从目标视频复制的，因此会出现和输入语音不一致的情况，造成极大的不真实感。最后，该类方法依赖于成功的人脸追踪，在当人脸的部分区域被遮挡，比如嘴部被手遮挡时，会产生时序不连续的结果。第二类方法虽然能够泛化到任意目标人脸，但是生成的动画结果都缺乏真实感且缺乏表达力。此外，该类方法倾向于学习训练数据集中平均的运动，因此生成的结果缺乏个性化特征。

发明内容