[发明专利]数字人视频生成方法、装置、电子设备和存储介质

说明书

本公开实施例公开了一种数字人视频生成方法、装置、电子设备和存储介质。上述方法包括：获取目标音频和目标人脸图像；针对上述目标音频中的音频帧，将该音频帧输入至预先训练的嘴部区域图像生成模型，得到与该音频帧相对应的嘴部区域图像，其中，上述嘴部区域图像生成模型用于表征音频帧与嘴部区域图像之间的对应关系；针对上述目标音频中的音频帧，将与该音频帧相对应的嘴部区域图像和上述目标人脸图像中的目标区域图像输入至预先训练的目标图像生成模型，生成与该音频帧相对应的目标图像，上述目标区域图像为上述目标人脸图像中除嘴部区域图像之外的区域图像；基于所生成的目标图像，生成数字人视频。本公开实施例可以提高数字人生成效果。

技术领域

本公开涉及数字人视频生成技术领域，尤其是一种数字人视频生成方法、装置、电子设备和存储介质。

背景技术

数字人的生成技术日趋成熟。现有方案有基于pix2pix、pix2pixHD、video2videosynthesis的数字人生成方法。具体而言，目前出现了大量的数字人生成技术，例如基于pix2pix、pix2pixHD、Vid2Vid、few shot video2video、NERF、StyleGAN等数字人生成方法。

然而，现有这些方案中，若生成的人脸关键点不准确、生成素描图的效果比较差，则会导致最终生成的数字人图片的效果比较差。

发明内容

鉴于此，为解决如上部分或全部技术问题，本公开实施例提供一种数字人视频生成方法、装置、电子设备和存储介质。

第一方面，本公开实施例提供一种数字人视频生成方法，该方法包括：

获取目标音频和目标人脸图像；

针对上述目标音频中的音频帧，将该音频帧输入至预先训练的嘴部区域图像生成模型，得到与该音频帧相对应的嘴部区域图像，其中，上述嘴部区域图像生成模型用于表征音频帧与嘴部区域图像之间的对应关系；

针对上述目标音频中的音频帧，将与该音频帧相对应的嘴部区域图像和上述目标人脸图像中的目标区域图像输入至预先训练的目标图像生成模型，生成与该音频帧相对应的目标图像，其中，与该音频帧相对应的目标图像用于指示上述目标人脸图像指示的人员发出该音频帧指示的音频，上述目标区域图像为上述目标人脸图像中除嘴部区域图像之外的区域图像；

基于所生成的目标图像，生成数字人视频。

可选地，在本公开任一实施例的方法中，上述将与该音频帧相对应的嘴部区域图像和上述目标人脸图像中的目标区域图像输入至预先训练的目标图像生成模型，生成与该音频帧相对应的目标图像，包括：

将与该音频帧相对应的嘴部区域图像和上述目标人脸图像中的目标区域图像进行通道合并，生成与该音频帧相对应的合成图像；

将与该音频帧相对应的合成图像输入至预先训练的目标图像生成模型，生成与该音频帧相对应的目标图像。

可选地，在本公开任一实施例的方法中，上述嘴部区域图像生成模型通过如下方式训练得到：

获取视频数据；

从上述视频数据中提取音频帧和与音频帧相对应的人脸图像，将所提取的音频帧作为样本音频，将所提取的人脸图像作为样本人脸图像；

采用机器学习算法，将样本音频作为第一生成式对抗网络中的第一生成器的输入数据，得到与样本音频相对应的、上述第一生成器生成的嘴部区域图像，如果上述第一生成式对抗网络中的第一判别器确定上述第一生成上述满足第一预设训练结束条件，则将当前的第一生成器作为嘴部区域图像生成模型。

可选地，在本公开任一实施例的方法中，通过如下方式从与样本音频相对应的样本人脸图像中提取嘴部区域图像：

从与样本音频相对应的样本人脸图像中提取人脸关键点和嘴部轮廓线；