[发明专利]基于共振峰的口型表情动画生成方法、装置及存储介质

说明书

本发明涉及一种基于共振峰的口型表情动画生成方法、装置及存储介质，方法包括以下步骤：对音频信号进行分帧处理；进行快速傅里叶变换，得到每个语音帧的频谱，获取每个语音帧的共振峰数据；基于共振峰数据得到每个语音帧对应的控制字；替换控制序列中的奇异点，得到元音序列，基于元音序列，生成口型动画和表情动画。与现有技术相比，本发明基于共振峰数据，得到每个声音帧对应的元音，再通过替换奇异点，可以减少抖动，口型和表情的变化更加自然流畅，保证了视觉效果，提升了用户体验；每次自元音序列中读取多个控制字，将出现次数最多的控制字作为目标控制字，进一步抑制了因声音突变而造成的口型和表情突变。

技术领域

本发明涉及语音处理领域，尤其是涉及一种基于共振峰的口型表情动画生成方法、装置及存储介质。

背景技术

随着动画、游戏等娱乐产业的发展以及人机交互的普及，动画与音频的配合越来越重要，将人脸的口型与语音相匹配在增加人脸动画的逼真性方面起着重要的作用。鉴于语音和唇部运动之间存在较为直观的确定性关系，研究人员提出了基于语音自动生成与语音匹配的唇形动画，如中国专利CN201810671470.9公开的一种游戏角色中文语音自动识别方法、一定程度上满足了需求，可以生成与语音相匹配的口型动画。该申请基于中文元音在共振峰上的特征，识别当前帧发的元音口型，基于整段语音生成每帧的口型动画数据。

但是，在现实生活中，语音不仅与唇形匹配，也与面部表情匹配，已有的工作大多关注于合成与语音匹配的唇形动画，而忽略了相应的面部表情。现有技术已经公开了一些面部表情动画的合成方法，如中国专利CN201611261096.2公开的基于语音实时驱动人物模型的表情和姿态的方法，将语音与表情相对应，根据语音切换表情。一些游戏制作公司也基于语音驱动生成与语音相匹配的口型动画和表情动画。

但是，由于声音变化较快，而实际上人的口型和表情变化较慢，因此，如果将每个语音分别对应一个口型和表情动画时，口型动画和表情动画会快速切换，变化时间非常短，在肉眼看来，好像是口型和表情发生了突变，非常不自然，影响视觉效果，用户体验不佳。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于共振峰的口型表情动画生成方法、装置及存储介质，基于共振峰数据，得到每个声音帧对应的元音，再通过替换奇异点，可以减少抖动，口型和表情的变化更加自然流畅，保证了视觉效果，提升了用户体验；每次自元音序列中读取多个控制字，将出现次数最多的控制字作为目标控制字，进一步抑制了因声音突变而造成的口型和表情突变。

本发明的目的可以通过以下技术方案来实现：

一种基于共振峰的口型表情动画生成方法，包括以下步骤：

S1：获取音频信号，对音频信号进行分帧处理，得到N(N0)个语音帧；

S2：对每个语音帧分别进行快速傅里叶变换，得到每个语音帧的频谱，基于频谱分别得到每个语音帧的共振峰数据；

S3：基于共振峰数据，分别得到每个语音帧对应的控制字，N个语音帧的控制字组成了控制序列{k₁、k₂、…、k_N}，每一个控制字k_i(1≤i≤N)对应一个元音；

S4：遍历控制序列，替换控制序列中的所有奇异点，得到元音序列，具体为：对于控制序列中的控制字k_s(2≤s≤N-2)，如果k_s≠k_s-1，且k_s-1＝k_s+1＝k_s+2，则控制字k_s为奇异点，将k_s的值替换为k_s-1；

S5：基于元音序列，生成口型动画和表情动画。

进一步的，所述步骤S1具体为：