[发明专利]数字人视频生成方法、装置、电子设备及存储介质

权利要求书

1.一种数字人视频生成方法，其特征在于，所述方法包括：

获取目标人物的音频，针对所述音频中任一音频帧，提取所述音频帧对应的音频特征，以及获取第一平均人脸3D网格；

确定所述目标人物的样本视频，提取所述样本视频中目标样本图像的第一人脸姿态参数以及第一背景轮廓线；

利用预设解码器，对所述音频特征、所述第一人脸姿态参数以及所述第一平均人脸3D网格进行处理，生成第一人脸3D网格；

利用预设视频生成模型，对所述第一人脸3D网格以及所述第一背景轮廓线进行处理，生成数字人视频。

2.根据权利要求1所述的方法，其特征在于，所述获取第一平均人脸3D网格，包括：

将所述目标样本图像输入至预设3D模型，获取所述预设3D模型输出的第一3D人脸重建信息；

提取所述第一3D人脸重建信息中的第一人脸姿态参数和第一人脸表情参数；

确定所述第一人脸姿态参数和所述第一人脸表情参数为第一平均人脸3D网格；

或者，

获取第一平均人脸3D网格集，获取所述第一平均人脸3D网格集中的任一第一平均人脸3D网格。

3.根据权利要求1所述的方法，其特征在于，所述提取所述样本视频中目标样本图像的第一人脸姿态参数，包括：

将所述样本视频中目标样本图像输入至预设姿态提取模型，获取所述预设姿态提取模型输出的第一人脸姿态参数；

其中，所述预设姿态提取模型包括预设神经网格模型与全连接层，所述预设神经网格模型连接于所述全连接层。

4.根据权利要求1所述的方法，其特征在于，所述利用预设解码器，对所述音频特征、所述第一人脸姿态参数以及所述第一平均人脸3D网格进行处理，生成第一人脸3D网格，包括：

针对所述音频中任一音频帧，将所述音频帧对应的所述音频特征输入至预设神经网格模型；

获取所述预设神经网格模型输出的所述音频帧对应的第一声音隐藏变量；

将所述第一平均人脸3D网格输入至所述预设神经网格模型，获取所述预设神经网格模型输出的第一图像隐藏变量；

按照通道合成的方式将所述音频帧对应的第一声音隐藏变量、所述第一图像隐藏变量以及所述第一人脸姿态参数进行合成，得到第一合成变量；

将所述第一合成变量输入至预设解码器，获取所述预设解码器输出的所述音频帧对应的第一人脸3D网格。

5.根据权利要求4所述的方法，其特征在于，所述将所述第一合成变量输入至预设解码器，获取所述预设解码器输出的所述音频帧对应的第一人脸3D网格，包括：

将所述第一人脸姿态参数输入至所述预设神经网格模型，获取所述预设神经网格模型输出的所述第一人脸姿态参数的第一嘴周围特征向量；

将所述第一合成变量、所述第一嘴周围特征向量输入至预设解码器，获取所述预设解码器输出的所述音频帧对应的第一人脸3D网格。

6.根据权利要求4或5所述的方法，其特征在于，所述利用预设视频生成模型，对所述第一人脸3D网格以及所述第一背景轮廓线进行处理，生成数字人视频，包括：

按照所述通道合成的方式将所述音频帧对应的所述第一人脸3D网格与所述第一背景轮廓线进行合成，得到所述音频帧对应的第一合成图像；

将所述音频帧对应的所述第一合成图像输入至预设视频生成模型，获取所述预设视频生成模型输出的所述音频帧对应的数字人图像；

按照所述音频的时间序列，对各所述音频帧各自对应的所述数字人图像进行组合，生成数字人视频。

7.根据权利要求1所述的方法，其特征在于，所述针对所述音频中任一音频帧，提取所述音频帧对应的音频特征，包括：

针对所述音频中任一音频帧，利用傅里叶变换提取Mel频率倒谱系数作为所述音频帧对应的音频特征；

或者，

针对所述音频中任一音频帧，利用预设语音识别模型提取所述音频帧对应的音频特征。