[发明专利]脸部驱动模型的训练和脸部口型动画的生成方法

权利要求书

1.一种脸部驱动模型的训练方法，其特征在于，所述方法包括：

获取样本对象说话时的样本语音数据和样本视频数据；

对所述样本语音数据进行特征提取，得到所述样本语音数据的语音特征数据，所述语音特征数据用于指示所述样本对象的发音特征；

对所述样本视频数据进行特征提取，得到所述样本视频数据的脸部特征数据，所述脸部特征数据用于指示所述样本对象的脸部表情特征；

将所述脸部特征数据作为所述语音特征数据的标签信息，生成所述脸部驱动模型的训练样本；

通过脸部驱动模型对所述语音特征数据进行处理，得到模型输出的脸部特征数据，所述脸部驱动模型用于基于待播放语音数据，生成用于控制虚拟脸部模型做出与所述待播放语音数据相匹配的脸部口型动画的脸部特征数据；

基于所述模型输出的脸部特征数据和所述标签信息，确定所述脸部驱动模型的正则项值和损失函数值；其中，正则项用于衡量所述脸部驱动模型的输出结果对应的脸部驱动效果的真实性，损失函数用于衡量所述脸部驱动模型的输出结果的准确性；

基于所述正则项值和所述损失函数值，对所述脸部驱动模型的参数进行调整，直至所述正则项满足第一条件且所述损失函数满足第二条件，停止训练所述脸部驱动模型。

2.根据权利要求1所述的方法，其特征在于，所述样本语音数据包括多个样本语音数据帧；

所述基于所述模型输出的脸部特征数据和所述标签信息，确定所述脸部驱动模型的正则项值，包括：

获取各个所述样本语音数据帧分别对应的所述模型输出的脸部特征数据和所述标签信息；

确定相邻的样本语音数据帧对应的第一变化值和第二变化值，所述第一变化值是指所述模型输出的脸部特征数据的变化值，所述第二变化值是指所述标签信息的变化值；

基于所述第一变化值和所述第二变化值，确定所述脸部驱动模型的正则项值。

3.根据权利要求1所述的方法，其特征在于，所述样本语音数据包括多个样本语音数据帧，所述样本视频数据的脸部特征数据包括多个图像帧分别对应的脸部特征数据；

所述将所述脸部特征数据作为所述语音特征数据的标签信息，生成所述脸部驱动模型的训练样本，包括：

获取所述样本语音数据帧对应的播放时间段；

基于所述播放时间段，确定所述播放时间段对应的n个图像帧，n为正整数；

将所述n个图像帧对应的脸部特征数据作为所述样本语音数据帧的标签信息，生成所述训练样本。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述样本语音数据进行特征提取，得到所述样本语音数据的语音特征数据，包括：

对所述样本语音数据进行分帧处理，得到多个样本语音数据帧；

对所述样本语音数据帧进行特征提取，获取所述样本语音数据帧的声道频率特征；

基于所述样本语音数据帧的声道频率特征，获取所述样本语音数据帧的发音速度特征；

其中，所述语音特征数据包括所述声道频率特征和所述发音速度特征。

5.根据权利要求4所述的方法，其特征在于，所述对所述样本语音数据进行分帧处理，得到多个样本语音数据帧，包括：

获取所述样本语音数据帧的单帧时长和间隔时长，所述间隔时长是指相邻两个样本语音数据帧的起始时刻之间的时间间隔，所述间隔时长小于所述单帧时长；

根据所述单帧时长和所述间隔时长，对所述样本语音数据进行分帧处理，得到所述多个样本语音数据帧。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述样本视频数据进行特征提取，得到所述样本视频数据的脸部特征数据，包括：

获取针对所述样本视频数据的采样频率；

基于所述采样频率对所述样本视频数据进行采样，得到所述样本视频数据对应的多个图像帧；

对所述多个图像帧分别进行特征提取，得到所述样本视频数据的脸部特征数据。