[发明专利]数字人视频生成方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种数字人视频生成方法、装置、电子设备及存储介质，所述方法包括：获取目标人物的音频，针对音频中任一音频帧，提取音频帧对应的音频特征，获取第一平均人脸3D网格；确定目标人物的样本视频，提取样本视频中目标样本图像的第一人脸姿态参数以及第一背景轮廓线；利用预设人脸3D模型，对音频特征、第一人脸姿态参数以及第一平均人脸3D网格进行处理，生成第一人脸3D网格；利用预设视频生成模型，对第一人脸3D网格以及第一背景轮廓线进行处理，生成数字人视频。基于目标人物的音频生成数字人视频，其中引入了第一平均人脸3D网格、目标样本图像的第一人脸姿态参数以及第一背景轮廓线，生成的数字人视频中数字人姿态自然、准确。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种数字人视频生成方法、装置、电子设备及存储介质。

背景技术

数字人视频的生成技术现在越来越成熟，如果数字人视频生成技术想应用在商业，实现实时交互，至少需要满足两点：生成效果好和推理速度快，其中，生产效果好事必要的前提，推理速度快是商业的需要。

目前，基于声音推理生成数字人视频的方案，其主要是通过声音推理模型，采用声音推理生成人脸关键点。但基于声音推理生成的人脸关键点存在角度问题，导致最终生成的数字人视频中数字人姿态不自然。

发明内容

为了解决上述基于声音推理生成的人脸关键点存在角度问题，导致最终生成的数字人视频中数字人姿态不自然的技术问题，本发明实施例提供了一种数字人视频生成方法、装置、电子设备及存储介质。

在本发明实施例的第一方面，首先提供了一种数字人视频生成方法，所述方法包括：

获取目标人物的音频，针对所述音频中任一音频帧，提取所述音频帧对应的音频特征，以及获取第一平均人脸3D网格；

确定所述目标人物的样本视频，提取所述样本视频中目标样本图像的第一人脸姿态参数以及第一背景轮廓线；

利用预设人脸3D模型，对所述音频特征、所述第一人脸姿态参数以及所述第一平均人脸3D网格进行处理，生成第一人脸3D网格；

利用预设视频生成模型，对所述第一人脸3D网格以及所述第一背景轮廓线进行处理，生成数字人视频。

在一个可选的实施方式中，所述获取第一平均人脸3D网格，包括：

将所述目标样本图像输入至预设3D模型，获取所述预设3D模型输出的第一3D人脸重建信息；

提取所述第一3D人脸重建信息中的第一人脸姿态参数和第一人脸表情参数；

确定所述第一人脸姿态参数和所述第一人脸表情参数为第一平均人脸3D网格；

或者，

获取第一平均人脸3D网格集，获取所述第一平均人脸3D网格集中的任一第一平均人脸3D网格。

在一个可选的实施方式中，所述利用预设人脸3D模型，对所述音频特征、所述第一人脸姿态参数以及所述第一平均人脸3D网格进行处理，生成第一人脸3D网格，包括：

针对所述音频中任一音频帧，对所述音频帧对应的所述音频特征以及所述第一平均人脸3D网格进行处理，生成第一中间人脸3D网格；

将所述第一中间人脸3D网格与所述第一人脸姿态参数输入至预设人脸3D模型，获取所述预设人脸3D模型输出的所述音频帧对应的第一人脸3D网格。

在一个可选的实施方式中，所述对所述音频帧对应的所述音频特征以及所述第一平均人脸3D网格进行处理，生成第一中间人脸3D网格，包括：

将所述音频帧对应的所述音频特征输入至预设神经网格模型，获取所述预设神经网格模型输出的所述音频帧对应的第一声音隐藏变量；