[发明专利]一种语音驱动虚拟人脸的视频生成方法以及装置

说明书

本申请公开了一种语音驱动虚拟人脸的视频生成方法以及装置，该方法包括：获得待输出的当前语音信息；根据预设的语音元素与面部驱动参数的映射关系，获得与当前语音信息包含的语音元素相对应的当前面部驱动参数；将当前面部驱动参数和预定的虚拟人脸面部模板结合，获得当前面部帧图；将当前面部帧图与预定的虚拟人脸面部模板进行贴合，获得对应于当前语音信息的当前面部视频帧。通过使用该方法，可利用任意语音信息驱动生成与之相对应的、与真实人物面部视频相同的虚拟人的面部视频，且该方法可适用于任意场景中，例如通过虚拟人进行交互的交互场景，简化了虚拟人面部视频的生成过程，增加了虚拟人的应用场景。

本申请要求于2018年9月3日提交中国专利局、申请号为201811019857.2、发明名称为“一种虚拟人脸语音视频生成方法以及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及人工智能领域，具体涉及一种语音驱动虚拟人脸的视频生成方法。本申请同时涉及一种语音驱动虚拟人脸的视频生成装置、一种电子设备以及一种计算机可读取存储介质。

背景技术

在人工智能领域，模拟真人原型的虚拟人已得到了越来越多的应用，例如现有的Soul Machines数字人和腾讯虚拟人Siren。

然而，上述虚拟人存在以下不足：

Soul Machines数字人通过数字3D建模，将人物完全数字化，因此，该数字人的面部生成过程为数字化的过程，需通过3D建模驱动生成，面部生成过程较为复杂，且该虚拟人与真实人物在视觉感受上存在较大差异；

腾讯虚拟人Siren的所有动作表情都由实时捕捉以及实时渲染形成，其同样是将人物完全数字化，因此，该虚拟人与真实人物在视觉感受上也存在较大差异，并且该虚拟人输出动作表情的过程仅仅是通过虚拟人将预设音视频进行输出，而无法在交互场景中根据交互需求实时生成以及输出虚拟人的面部视频，因此，该类型虚拟人的应用范围受到限制，应用场景较少。

发明内容

本申请提供一种语音驱动虚拟人脸的视频生成方法，以解决现有的虚拟人与真实人物在视觉感受上存在较大差异、并且现有的虚拟人的面部生成过程复杂、且虚拟人应用场景较少的问题。本申请另外提供一种语音驱动虚拟人脸的视频生成装置、一种电子设备以及一种计算机可读取存储介质。

本申请提供一种语音驱动虚拟人脸的视频生成方法，包括：

获得待输出的当前语音信息；

根据预设的语音元素与面部驱动参数的映射关系，获得与所述当前语音信息包含的语音元素相对应的当前面部驱动参数；

将所述当前面部驱动参数和预定的虚拟人脸面部模板结合，获得当前面部帧图；

将所述当前面部帧图与所述预定的虚拟人脸面部模板进行贴合，获得对应于所述当前语音信息的当前面部视频帧。

可选的，所述根据预设的语音元素与面部驱动参数的映射关系，获得与所述当前语音信息包含的语音元素相对应的当前面部驱动参数，包括：

对所述当前语音信息进行处理，获得所述当前语音信息包含的语音元素；

将所述当前语音信息包含的语音元素输入预定的语音-面部映射模型进行预测，获得所述当前语音信息包含的语音元素所对应的当前面部驱动参数。

可选的，所述语音-面部映射模型通过如下方式获得：

根据以指定模特为展示对象的原始音视频，获得基准语音元素以及与所述基准语音元素相对应的基准面部帧图；

根据所述基准面部帧图与所述预定的虚拟人脸面部模板，获得能够反映所述基准面部帧图相对于所述面部模板的面部变化幅度的全量面部驱动参数；