[发明专利]基于Actor-Critic算法的口型动画自动生成方法

说明书

本发明涉及计算机人工智能技术领域，其公开了一种将角色口型动画制作与强化学习相结合的基于Actor‑Critic算法的口型动画自动生成方法，解决现有技术的口型动画生成方案存在的需要大量样本数据和容易出现伪影的问题。该方法包括：a.采集语音数据及角色头像；b.对语音数据进行分析获得声学特征；c.对角色头像图片进行面部识别以及动作单元的识别，获取面部特征；d.基于Actor‑Critic算法对声学特征和面部特征进行匹配；e.对面部表情及眨眼动作进行还原，自动生成口型动画。本发明适用于需要快速、逼真地生成口型动画的场景。

技术领域

本发明涉及计算机人工智能技术领域，具体涉及一种将角色口型动画制作与强化学习相结合的基于Actor-Critic算法的口型动画自动生成方法。

背景技术

语音作为一种自然交流形式，在人机交互领域表现出了突出的影响力，这一点可以通过我们日常生活中日益普及的虚拟语音助手(如微软的Cortana或亚马逊的Alexa)明显看出。而通过个性化头像表达语音可使谈话更加愉快，特别是在玩家与虚拟世界中的其他角色进行通信的交互式角色扮演游戏中。但是产生逼真的口型动画的问题是极为复杂的，它需要高分辨率的面部图像，与音频同步的口型动作以及合理的面部表情。语音与口型对应存在着非常密切的同步关系，又因为人类善于捕捉面部运动和视听同步中的细微异常，所以在人脸动画中如何同步口型动画与语音的关系一直是计算机视觉以及人机交互领域的热点及难点。

现有技术中，自动口型动画的工作可以分为三大类，如图1所示，包括：

(1)插入单帧视觉单元方式：单帧可视单元插值按顺序构造静态目标口型，并在它们之间进行插值以生成中间动画帧。这种方法的一个好处是只需要定义少量形状(例如每个音素对应一个)。然而，动画的真实性在很大程度上取决于插值如何很好地捕获视觉共同点和动态。人们可以手工制作这种插值函数或采用基于视觉语音参数统计的数据驱动方法。这些方法对插值的静态性质做出了强有力的假设，却没有解决依赖于上下文的协同关系。这个问题通过使用协方差矩阵来定义允许特定口型变形多少，但是协方差矩阵本身是固定的，会导致不自然的变形。

(2)连接现有视觉数据的片段方式：基于样本的合成将现有语音对应的视觉数据的短序列拼接在一起，这些短序列对应于固定长度(例如单词或音素)或可变长度。单元选择通常涉及基于语音上下文和平滑度来最小化成本函数。而由于上下文通常仅考虑音素标识，因此需要大量数据来确保在所有上下文中有足够的覆盖。

(3)采样生成统计模型的方式：比如GMMs、转换线性动力系统、转换共享高斯过程动力学模型，循环神经网络，或隐马尔可夫模型(HMM)及其变体。然而，由于状态数量有限以及参数的平滑性约束，合成可能会出现在明显的伪影。

发明内容

本发明所要解决的技术问题是：提出一种基于Actor-Critic算法的口型动画自动生成方法，解决现有技术的口型动画生成方案存在的需要大量样本数据和容易出现伪影的问题。

本发明解决上述技术问题采用的技术方案是：

基于Actor-Critic算法的口型动画自动生成方法，包括以下步骤：

a.采集语音数据及角色头像；

b.对语音数据进行分析获得声学特征；

c.对角色头像图片进行面部识别以及动作单元的识别，获取面部特征；

d.基于Actor-Critic算法对声学特征和面部特征进行匹配；

e.对面部表情及眨眼动作进行还原，自动生成口型动画。

作为进一步优化，步骤b中，所述对语音数据进行分析，具体包括：