[发明专利]一种面部动画生成方法、装置、设备及可读存储介质

权利要求书

1.一种面部动画生成方法，其特征在于，包括：

获取目标音频数据；

基于面部参数预测特征预测所述目标音频数据对应的面部动画参数，所述面部参数预测特征从所述目标音频数据中提取，所述面部参数预测特征包括声学特征，以及，发音特征和/或语音瓶颈特征；

根据所述目标音频数据对应的面部动画参数生成面部动画；

所述基于面部参数预测特征预测所述目标音频数据对应的面部动画参数，包括：

根据所述面部参数预测特征和预先建立的面部参数预测模型，预测所述目标音频数据对应的面部动画参数；

其中，所述面部参数预测模型利用从训练音视频数据中提取的面部参数预测特征和面部动画参数训练得到。

2.根据权利要求1所述的面部动画生成方法，其特征在于，基于所述面部参数预测特征预测的面部动画参数包括：面部区域中至少一个子区域的面部动画参数；

其中，所述面部区域包括多个子区域，一子区域为所述面部区域中一面部属性所在的区域，所述面部区域的不同子区域的运动特点不同。

3.根据权利要求1所述的面部动画生成方法，其特征在于，所述面部参数预测模型包括：参数生成模块和对抗判别模块；

所述参数生成模块，用于根据输入的面部参数预测特征预测面部动画参数；

所述对抗判别模块，用于在训练的过程中判别所述参数生成模块预测的面部动画参数与真实的面部动画参数是否一致。

4.根据权利要求3所述的面部动画生成方法，其特征在于，所述面部参数预测模型的训练过程包括：

获取所述训练音视频数据；

从所述训练音视频数据中提取面部参数预测特征和面部动画参数；

将从所述训练音视频数据中提取的面部参数预测特征输入所述参数生成模块，获得所述参数生成模块输出的面部动画参数；

通过所述对抗判别模块判别所述参数生成模块输出的面部动画参数与从所述训练音视频数据中提取的面部动画参数是否一致；

根据所述对抗判别模块的判别结果更新所述参数生成模块的参数；

所述面部参数预测模型的训练目标为：所述参数生成模块根据从训练音视频数据中提取的面部参数预测特征预测的面部动画参数，与从同一训练音视频数据中提取的面部动画参数一致。

5.根据权利要求4所述的面部动画生成方法，其特征在于，所述对抗判别模块包括至少一个对抗判别子模块；

一对抗判别子模块对应面部区域的一子区域，不同的对抗判别子模块对应面部区域的不同子区域；

面部区域的一子区域对应的对抗判别子模块，用于判别所述参数生成模块针对该子区域预测的面部动画参数与该子区域真实的面部动画参数是否一致。

6.根据权利要求5所述的面部动画生成方法，其特征在于，在对所述面部参数预测模型训练时，更新所述参数生成模块的参数所使用的损失函数由MSE准则的损失和各个对抗判别子模块的损失加权组成。

7.根据权利要求5所述的面部动画生成方法，其特征在于，所述对抗判别模块包括：与所述面部区域中的眼睛区域对应的第一对抗判别子模块，和/或，与所述面部区域中的鼻子区域对应的第二对抗判别子模块，和/或，与所述面部区域中的嘴部区域对应的第三对抗判别子模块。

8.根据权利要求7所述的面部动画生成方法，其特征在于，通过所述对抗判别模块中的所述第一对抗判别子模块判别所述参数生成模块输出的面部动画参数与从所述训练音视频数据中提取的面部动画参数是否一致，包括：

通过所述第一对抗判别子模块，判别所述参数生成模块针对所述眼睛区域生成的面部动画参数与从所述从训练音视频数据中针对所述眼睛区域提取的面部动画参数是否一致。