[发明专利]数字人视频生成方法、装置、电子设备和存储介质

权利要求书

1.一种数字人视频生成方法，其特征在于，所述方法包括：

获取目标音频和目标人脸图像；

针对所述目标音频中的音频帧，将该音频帧输入至预先训练的嘴部区域图像生成模型，得到与该音频帧相对应的嘴部区域图像，其中，所述嘴部区域图像生成模型用于表征音频帧与嘴部区域图像之间的对应关系；

针对所述目标音频中的音频帧，将与该音频帧相对应的嘴部区域图像和所述目标人脸图像中的目标区域图像输入至预先训练的目标图像生成模型，生成与该音频帧相对应的目标图像，其中，与该音频帧相对应的目标图像用于指示所述目标人脸图像指示的人员发出该音频帧指示的音频，所述目标区域图像为所述目标人脸图像中除嘴部区域图像之外的区域图像；

基于所生成的目标图像，生成数字人视频。

2.根据权利要求1所述的方法，其特征在于，所述将与该音频帧相对应的嘴部区域图像和所述目标人脸图像中的目标区域图像输入至预先训练的目标图像生成模型，生成与该音频帧相对应的目标图像，包括：

将与该音频帧相对应的嘴部区域图像和所述目标人脸图像中的目标区域图像进行通道合并，生成与该音频帧相对应的合成图像；

将与该音频帧相对应的合成图像输入至预先训练的目标图像生成模型，生成与该音频帧相对应的目标图像。

3.根据权利要求1所述的方法，其特征在于，所述嘴部区域图像生成模型通过如下方式训练得到：

获取视频数据；

从所述视频数据中提取音频帧和与音频帧相对应的人脸图像，将所提取的音频帧作为样本音频，将所提取的人脸图像作为样本人脸图像；

采用机器学习算法，将样本音频作为第一生成式对抗网络中的第一生成器的输入数据，得到与样本音频相对应的、所述第一生成器生成的嘴部区域图像，如果所述第一生成式对抗网络中的第一判别器确定所述第一生成器生成的嘴部区域图像满足第一预设训练结束条件，则将当前的第一生成器作为嘴部区域图像生成模型。

4.根据权利要求3所述的方法，其特征在于，通过如下方式从与样本音频相对应的样本人脸图像中提取嘴部区域图像：

从与样本音频相对应的样本人脸图像中提取人脸关键点和嘴部轮廓线；

从所述人脸关键点中提取嘴部关键点；

基于所述嘴部轮廓线和所述嘴部关键点，生成嘴部区域图像。

5.根据权利要求1所述的方法，其特征在于，所述嘴部区域图像生成模型通过如下方式训练得到：

获取视频数据；

从所述视频数据中提取音频帧和与音频帧相对应的人脸图像，将所述视频数据中包含所提取的音频帧的预设数量帧连续音频帧作为样本音频，将所提取的人脸图像作为样本人脸图像；

采用机器学习算法，将样本音频作为第一生成式对抗网络中的第一生成器的输入数据，得到与样本音频相对应的、所述第一生成器生成的嘴部区域图像，如果所述第一生成式对抗网络中的第一判别器确定所述第一生成器生成的嘴部区域图像满足第一预设训练结束条件，则将当前的第一生成器作为嘴部区域图像生成模型。

6.根据权利要求3-5之一所述的方法，其特征在于，训练得到所述嘴部区域图像生成模型的步骤还包括：

执行如下训练步骤：

将样本音频输入至初始模型，得到与该样本音频相对应的预测嘴部关键点，其中，初始模型包括第一子模型、第二子模型和第三子模型，所述第一子模型的输入数据为样本音频，所述第二子模型的输入数据和所述第三子模型的输入数据均为所述第一子模型的输出数据，所述第二子模型的输出数据为嘴部关键点，所述第三子模型的输出数据为嘴部区域图像；

基于与该样本音频相对应的预测嘴部关键点和从与该样本音频相对应的样本人脸图像中提取的嘴部关键点，计算预设损失函数的函数值；

如果所计算的函数值小于或等于预设阈值，则将当前的初始模型包括的第一子模型和第三子模型确定为训练完成的嘴部区域图像生成模型。

7.根据权利要求6所述的方法，其特征在于，训练得到所述嘴部区域图像生成模型的步骤还包括：

如果所述函数值大于所述预设阈值，则对当前的初始模型的参数进行更新，以及基于参数更新后的的初始模型继续执行所述训练步骤。