[发明专利]数字人视频的生成方法、装置、电子设备和存储介质

权利要求书

1.一种数字人视频的生成方法，其特征在于，所述方法包括：

获取待播报的目标文本，根据所述目标文本生成目标音频；

根据所述目标音频生成唇部动作参数；

从真实人脸播报所述目标文本的视频中获取真实人脸图像，根据所述真实人脸图像的形象描述参数生成目标数字人的形象图像；

根据所述目标音频、所述唇部动作参数和所述形象图像生成所述目标数字人播报所述目标文本的数字人视频。

2.如权利要求1所述的方法，其特征在于，所述根据所述目标音频、所述唇部动作参数和所述形象图像生成所述目标数字人播报所述目标文本的数字人视频，包括：

根据所述唇部动作参数对所述形象图像中的所述目标数字人的唇部进行调整，得到多个第一视频帧；

基于预设视频渲染算法对各所述第一视频帧中的所述目标数字人进行渲染，得到唇部动作视频；

将所述唇部动作视频与所述目标音频进行融合，得到所述数字人视频。

3.如权利要求2所述的方法，其特征在于，在将所述唇部动作视频与所述目标音频进行融合，得到所述数字人视频之前，所述方法还包括：

根据所述目标音频的语速对所述唇部动作视频的播放速度进行调整，并在所述唇部动作视频中存在异常视频帧时，对所述异常视频帧进行平滑补帧处理，其中，所述异常视频帧为满足预设衔接异常判定条件的相邻视频帧。

4.如权利要求1所述的方法，其特征在于，所述根据所述真实人脸图像的形象描述参数生成目标数字人的形象图像，包括：

从预设形象标签集合中确定与所述形象描述参数匹配的多个目标形象标签；

将各所述目标形象标签输入预设形象图像生成模型，根据所述预设形象图像生成模型的输出结果得到所述形象图像。

5.如权利要求1所述的方法，其特征在于，所述根据所述目标音频生成唇部动作参数，包括：

根据所述目标音频中各音素的音频特征获取预设中性面部的唇部动作序列；

根据所述预设中性面部中的预设唇部关键点和所述唇部动作序列生成所述唇部动作参数。

6.如权利要求5所述的方法，其特征在于，所述根据所述预设中性面部中的预设唇部关键点和所述唇部动作序列生成所述唇部动作参数，包括：

将各所述预设唇部关键点进行单向连接，得到唇部边缘轮廓；

对所述唇部边缘轮廓进行曲线拟合，得到所述唇部边缘轮廓在所述唇部动作序列中的曲率变化参数；

基于各所述预设唇部关键点求得所述唇部边缘轮廓在所述唇部动作序列中的夹角变化参数；

根据所述曲率变化参数和所述夹角变化参数生成所述唇部动作参数。

7.如权利要求1所述的方法，其特征在于，所述根据所述目标文本生成目标音频，包括：

基于预设自编码模型生成与所述目标文本对应的发音编码；

将符合预设发音风格的预设语音片段输入预设发音特征编码器，生成特征编码；

将所述发音编码和所述特征编码进行合成，得到合成编码；

将所述合成编码输入预设解码器，得到所述目标音频。

8.一种数字人视频的生成装置，其特征在于，所述装置包括：

第一生成模块，用于获取待播报的目标文本，根据所述目标文本生成目标音频；

第二生成模块，用于根据所述目标音频生成唇部动作参数；

第三生成模块，用于从真实人脸播报所述目标文本的视频中获取真实人脸图像，根据所述真实人脸图像的形象描述参数生成目标数字人的形象图像；

第四生成模块，用于根据所述目标音频、所述唇部动作参数和所述形象图像生成所述目标数字人播报所述目标文本的数字人视频。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述的数字人视频的生成方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的数字人视频的生成方法。