[发明专利]一种三维虚拟形象唇形生成方法、装置及电子设备

权利要求书

1.一种三维虚拟形象唇形生成方法，其特征在于，包括：

获取语音数据；

根据所述语音数据得到表情参数和姿态参数；其中，所述表情参数表示唇部的表情信息，所述姿态参数表示口型信息；

根据所述表情参数和所述姿态参数生成三维虚拟形象唇形；

根据所述语音数据得到表情参数和姿态参数包括：

所述语音数据经预训练的深度神经网络模型得到所述表情参数和所述姿态参数；

所述预训练的深度神经网络模型包括音频编码器和音频解码器；其中，所述音频编码器包括卷积神经网络和循环神经网络；所述音频解码器包括残差模块、注意力模块和全连接层；

所述预训练的深度神经网络模型的训练包括：

根据视频数据样本得到3DMM参数；其中，所述3DMM参数为与所述视频数据样本对应的形状参数、表情参数和姿态参数，或者，所述3DMM参数为与所述视频数据样本对应的表情参数和姿态参数；

根据音频数据样本输入深度神经网络模型的输出，以及所述3DMM参数对深度神经网络模型进行训练，得到所述预训练的深度神经网络模型；

根据音频数据样本输入深度神经网络模型的输出，以及所述3DMM参数对深度神经网络模型进行训练包括：

将音频数据样本输入至所述深度神经网络模型得到训练的3DMM参数的顶点信息；其中，所述训练的3DMM参数至少包括与所述音频数据样本对应的表情参数和姿态参数；通过与所述音频数据样本对应的视频数据样本，得到真实的3DMM参数的顶点信息；其中，所述真实的3DMM参数至少包括与所述视频数据样本对应的表情参数和姿态参数；

计算所述训练的3DMM参数的顶点信息与所述真实的3DMM参数的顶点信息之间的第一距离；和/或，计算所述训练的3DMM参数的顶点信息与所述真实的3DMM参数的顶点信息之间连续帧差之间的第二距离；

根据所述第一距离和/或所述第二距离训练损失函数。

2.根据权利要求1所述的三维虚拟形象唇形生成方法，其特征在于，获取音频数据样本以及与所述音频数据样本对应的视频数据样本包括：

获取人脸区域的音视频数据样本；

对所述人脸区域的音视频数据样本进行音视频分离，得到所述音频数据样本和所述视频数据样本。

3.根据权利要求1所述的三维虚拟形象唇形生成方法，其特征在于，经预训练的深度神经网络模型得到所述表情参数和所述姿态参数包括：

将唇形风格信息和所述语音数据输入所述预训练的深度神经网络模型，得到与所述唇形风格信息对应的表情参数和姿态参数。

4.根据权利要求1所述的三维虚拟形象唇形生成方法，其特征在于，根据所述视频数据样本得到3DMM参数包括：

对所述视频数据样本进行抽帧处理，得到二维图像信息；

基于所述二维图像信息得到所述3DMM参数。

5.根据权利要求1所述的三维虚拟形象唇形生成方法，其特征在于，所述方法还包括：

获取动画模型形状；

将所述三维虚拟形象唇形叠加至所述动画模型形状，形成三维动画。

6.根据权利要求1至5中任一所述的三维虚拟形象唇形生成方法，其特征在于，获取语音数据包括：

获取文本数据；

将所述文本数据输入至语音合成模型，得到所述语音数据。