[发明专利]数字人视频生成方法、装置、电子设备和存储介质

权利要求书

1.一种数字人视频生成方法，其特征在于，所述方法包括：

获取目标音频和目标人脸图像；

针对所述目标音频中的音频帧，将该音频帧输入至预先训练的人脸关键点模型，得到与该音频帧相对应的人脸关键点，其中，所述人脸关键点模型用于表征音频帧与人脸关键点之间的对应关系；

针对所述目标音频中的音频帧，基于与该音频帧相对应的人脸关键点，生成与该音频帧相对应的所述目标人脸图像的人脸素描图；

针对所述目标音频中的音频帧，将与该音频帧相对应的所述目标人脸图像的人脸素描图输入至预先训练的图像生成模型，生成与该音频帧相对应的目标图像，其中，与该音频帧相对应的目标图像用于指示所述目标人脸图像指示的人员发出该音频帧指示的音频；

基于所生成的目标图像，生成数字人视频。

2.根据权利要求1所述的方法，其特征在于，所述基于与该音频帧相对应的人脸关键点，生成与该音频帧相对应的所述目标人脸图像的人脸素描图，包括：

基于与该音频帧相对应的人脸关键点，生成所述目标人脸图像的人脸关键点；

基于所生成的人脸关键点和所述目标人脸图像的人脸轮廓线，生成与该音频帧相对应的所述目标人脸图像的人脸素描图。

3.根据权利要求2所述的方法，其特征在于，所述将该音频帧输入至预先训练的人脸关键点模型，得到与该音频帧相对应的人脸关键点，包括：

将该音频帧输入至预先训练的人脸关键点模型，得到与该音频帧相对应的第一数量个人脸关键点；以及

所述基于与该音频帧相对应的人脸关键点，生成所述目标人脸图像的人脸关键点，包括：

基于与该音频帧相对应的第一数量个人脸关键点，生成所述目标人脸图像的第二数量个人脸关键点，其中，所述第二数量大于所述第一数量。

4.根据权利要求2所述的方法，其特征在于，所述基于与该音频帧相对应的人脸关键点，生成所述目标人脸图像的人脸关键点，包括：

对与该音频帧相对应的人脸关键点进行反归一化处理，得到与该音频帧相对应的反归一化后关键点；

将与该音频帧相对应的反归一化后关键点，反投影到所述目标人脸图像，得到从所述目标人脸图像中提取的人脸关键点。

5.根据权利要求1所述的方法，其特征在于，所述人脸关键点模型通过如下步骤训练得到：

获取视频数据；

从所述视频数据中提取音频帧和与音频帧相对应的人脸图像，将所提取的音频帧作为样本音频，将所提取的人脸图像作为样本人脸图像；

采用机器学习算法，将样本音频作为输入数据，将从与样本音频相对应的样本人脸图像中提取的人脸关键点作为期望输出数据，训练得到人脸关键点模型。

6.根据权利要求1所述的方法，其特征在于，所述人脸关键点模型通过如下步骤训练得到：

获取视频数据；

从所述视频数据中提取音频帧和与音频帧相对应的人脸图像，将所提取的音频帧作为样本音频，将所提取的人脸图像作为样本人脸图像；

采用机器学习算法，将样本音频作为输入数据，将与样本人脸图像对应的连续帧样本人脸图像的人脸关键点的平均值作为期望输出数据，训练得到人脸关键点模型，其中，与样本人脸图像对应的连续帧样本人脸图像为所述视频数据中包括该样本人脸图像的预设数量帧连续的样本人脸图像。

7.根据权利要求5-6之一所述的方法，其特征在于，所述图像生成模型通过如下步骤训练得到：

采用机器学习算法，将与样本音频相对应的人脸图像的人脸素描图作为生成式对抗网络中的生成器的输入数据，得到与样本音频相对应的、所述生成器生成的目标图像，如果所述判别器无法确定与样本音频相对应的、所述生成器生成的目标图像是否为与样本音频相对应的人脸图像的目标图像，则将当前的生成器作为图像生成模型。

8.根据权利要求6所述的方法，其特征在于，样本人脸图像的人脸素描图基于所述人脸关键点模型生成的关键点和样本人脸图像的轮廓线生成。