[发明专利]基于Actor-Critic算法的口型动画自动生成方法

权利要求书

1.基于Actor-Critic算法的口型动画自动生成方法，其特征在于，

包括以下步骤：

a.采集语音数据及角色头像；

b.对语音数据进行分析获得声学特征；

c.对角色头像图片进行面部识别以及动作单元的识别，获取面部特征；

d.基于Actor-Critic算法对声学特征和面部特征进行匹配；

e.对面部表情及眨眼动作进行还原，自动生成口型动画；

步骤e中，所述对面部表情及眨眼动作进行还原，具体包括：

根据语音数据、预先训练好的Actor-Critic深度强化学习神经网络模型以及预先准备的数据库中的角色情绪标签信息，获取与给定语音数据和给定头像标识信息对应的上半部分脸部数据，使用Actor-Critic深度强化学习神经网络模型表达语音数据的发音特征与面部表情以及眨眼动作的相关关系。

2.如权利要求1所述的基于Actor-Critic算法的口型动画自动生成方法，

其特征在于，步骤b中，所述对语音数据进行分析，具体包括：

首先对原始语音数据进行预处理，加强语音信号性能，并将其分为一定数量的短帧；针对每一个短帧，通过快速傅里叶变换得到相应的频谱；将得到的频谱通过梅尔滤波器组得到梅尔频谱；在梅尔频谱上进行倒谱分析，以获得梅尔频谱倒谱系数MFCC。

3.如权利要求1所述的基于Actor-Critic算法的口型动画自动生成方法，

其特征在于，步骤c中，所述获取面部特征，具体包括：采用级联回归的方法建立ERT模型，不断迭代所预测出的特征点形状和坐标；然后基于平方误差和的梯度树算法对预测出的特征点形状和坐标进行优化，最终实现人脸的特征点检测和标注。

4.如权利要求1所述的基于Actor-Critic算法的口型动画自动生成方法，

其特征在于，步骤d中，所述基于Actor-Critic算法对声学特征和面部特征进行匹配，具体包括：根据语音数据、预先训练好的Actor-Critic深度强化学习神经网络模型以及预先处理的角色头像标识信息，获取与给定语音数据和给定头像标识信息对应的口型数据；使用训练好的Actor-Critic深度强化学习神经网络模型表达语音数据的声学特征与口型数据的口型位置特征之间的相关关系。

5.如权利要求4所述的基于Actor-Critic算法的口型动画自动生成方法，

其特征在于，所述Actor-Critic深度强化学习神经网络模型包括生成器和判别器；所述生成器用于在给定语音的基础上预测出较为真实的口型序列，采用强化学习的actor模型来实现；所述判别器用于对生成的口型动画帧进行评估，预测每个状态行为值，采用强化学习的critic模型来实现。

6.如权利要求5所述的基于Actor-Critic算法的口型动画自动生成方法，

其特征在于，所述Actor-Critic深度强化学习神经网络模型的训练方法为：

根据发音匹配从样本库中的语音数据中提取声学特征，获取当前状态下的面部表情特征，将声学特征和面部表情特征共同作为所述Actor-Critic深度强化学习神经网络模型的输入特征，将所述对应于声学特征的面部表情特征作为所述Actor-Critic深度强化学习神经网络模型的输出特征，对所述Actor-Critic深度强化学习神经网络模型进行训练，获取Actor-Critic深度强化学习神经网络模型的模型参数。