[发明专利]数字人视频的生成方法、装置、电子设备和存储介质

说明书

本发明公开了一种数字人视频的生成方法、装置、电子设备和存储介质，该方法包括：获取待播报的目标文本，根据所述目标文本生成目标音频；根据所述目标音频生成唇部动作参数；从真实人脸播报所述目标文本的视频中获取真实人脸图像，根据所述真实人脸图像的形象描述参数生成目标数字人的形象图像；根据所述目标音频、所述唇部动作参数和所述形象图像生成所述目标数字人播报所述目标文本的数字人视频，无需花费大量时间训练数字人生成模型，只需根据待播报的文本和真实人脸的播报该文本的视频即可快速生成相应的数字人播报视频，从而提高了数字人视频的生成效率。

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种数字人视频的生成方法、装置、电子设备和存储介质。

背景技术

随着人工智能技术的不断发展，很多企业或机构为提升服务质量以及客户体验，采用数字人视频进行服务。

现有技术中，通过采集大量的数据(如不同姿态、语音等数据)，进行联合训练，从而得到数字人生成模型，再通过语音驱动，表情驱动等方法制作数字人视频，这种方式一般耗时较长，造成数字人视频的生成效率低。

因此，如何提高数字人视频的生成效率，是目前有待解决的技术问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请实施例提出了一种数字人视频的生成方法、装置、电子设备和存储介质，用以提高数字人视频的生成效率。

第一方面，提供一种数字人视频的生成方法，所述方法包括：获取待播报的目标文本，根据所述目标文本生成目标音频；根据所述目标音频生成唇部动作参数；从真实人脸播报所述目标文本的视频中获取真实人脸图像，根据所述真实人脸图像的形象描述参数生成目标数字人的形象图像；根据所述目标音频、所述唇部动作参数和所述形象图像生成所述目标数字人播报所述目标文本的数字人视频。

第二方面，提供一种数字人视频的生成装置，所述装置包括：第一生成模块，用于获取待播报的目标文本，根据所述目标文本生成目标音频；第二生成模块，用于根据所述目标音频生成唇部动作参数；第三生成模块，用于从真实人脸播报所述目标文本的视频中获取真实人脸图像，根据所述真实人脸图像的形象描述参数生成目标数字人的形象图像；第四生成模块，用于根据所述目标音频、所述唇部动作参数和所述形象图像生成所述目标数字人播报所述目标文本的数字人视频。

第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面所述的数字人视频的生成方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的数字人视频的生成方法。

通过应用以上技术方案，获取待播报的目标文本，根据所述目标文本生成目标音频；根据所述目标音频生成唇部动作参数；从真实人脸播报所述目标文本的视频中获取真实人脸图像，根据所述真实人脸图像的形象描述参数生成目标数字人的形象图像；根据所述目标音频、所述唇部动作参数和所述形象图像生成所述目标数字人播报所述目标文本的数字人视频，无需花费大量时间训练数字人生成模型，只需根据待播报的文本和真实人脸的播报该文本的视频即可快速生成相应的数字人播报视频，从而提高了数字人视频的生成效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例提出的一种数字人视频的生成方法的流程示意图；