[发明专利]数字人的生成方法、装置、电子设备及存储介质

权利要求书

1.一种数字人的生成方法，其特征在于，包括：

获得视频和音频；

将所述视频和音频输入人脸生成模型，得到连续的多个虚拟数字人人脸图像帧，其中，所述多个虚拟数字人人脸图像帧包括与所述音频匹配的嘴型，所述人脸生成模型是根据所述人脸生成模型输出的虚拟数字人人脸图像和目标图像之间的清晰化损失预先训练得到的，所述目标图像由所述虚拟数字人人脸图像经过图像增强处理得到；

根据所述多个虚拟数字人人脸图像帧和所述音频，得到虚拟数字人有声视频。

2.根据权利要求1所述的数字人的生成方法，其特征在于，所述人脸生成模型的训练过程，包括：

将训练样本输入初始人脸生成模型，得到所述初始人脸生成模型的输出图像；

对所述输出图像进行图像增强处理，得到增强图像；

计算所述输出图像和所述增强图像之间的损失，并根据所述损失对所述初始人脸生成模型进行训练，得到所述人脸生成模型。

3.根据权利要求2所述的数字人的生成方法，其特征在于，所述对所述输出图像进行图像增强处理，得到增强图像，包括：

提取所述输出图像的低分辨率特征；

对所述低分率特征进行非线性映射，得到高分辨率特征；

对所述高分辨率特征进行解码处理，得到所述增强图像。

4.根据权利要求2所述的数字人的生成方法，其特征在于，所述对所述输出图像进行图像增强处理，得到增强图像，包括：

将所述输出图像输入超分辨率图像生成模型，得到所述增强图像。

5.根据权利要求2所述的数字人的生成方法，其特征在于，所述计算所述输出图像和所述增强图像之间的损失，并根据所述损失对所述初始人脸生成模型进行训练，得到所述人脸生成模型，包括：

根据SSIM损失函数，得到所述输出图像和所述增强图像之间的结构相似性指数；

根据所述结构相似性指数调整所述初始人脸生成模型的参数，直至所述结构相似性指数达到设定目标后，完成所述初始人脸生成模型的训练。

6.根据权利要求1-5任一项所述的数字人的生成方法，其特征在于，所述根据多个虚拟数字人人脸图像帧和所述音频，得到虚拟数字人有声视频，包括：

根据所述多个虚拟数字人人脸图像帧生成虚拟数字人无声视频；

将所述虚拟数字人无声视频和所述音频进行合成，得到所述虚拟数字人有声视频。

7.一种人脸生成模型的训练方法，其特征在于，包括：

将训练样本输入初始人脸生成模型，得到所述初始人脸生成模型的输出图像；

对所述输出图像进行图像增强处理，得到增强图像；

计算所述输出图像和所述增强图像之间的结构相似性指数，并根据所述结构相似性指数对所述初始人脸生成模型进行训练，得到所述人脸生成模型。

8.一种数字人的生成装置，其特征在于，包括：

获取模块，用于获得视频和音频；

数字人人脸图像生成模块，用于将所述视频和音频输入人脸生成模型，得到连续的多个虚拟数字人人脸图像帧，其中，所述多个虚拟数字人人脸图像帧包括与所述音频匹配的嘴型，所述人脸生成模型是根据所述人脸生成模型输出的虚拟数字人人脸图像和目标图像之间的清晰化损失预先训练得到的，所述目标图像由所述虚拟数字人人脸图像经过图像增强处理得到；

数字人生成模块，用于根据所述多个虚拟数字人人脸图像帧和所述音频，得到虚拟数字人有声视频。

9.一种电子设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器用于执行所述程序时实现根据权利要求1-6任一项所述的数字人的生成方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现根据权利要求1-6任一项所述的数字人的生成方法。