[发明专利]表情动画生成方法及电子设备

说明书

本申请实施例公开了表情动画生成方法及电子设备，所述方法包括：将目标音频数据划分为时间维度上的多个帧片段，并对各帧片段进行音素预测，得到预测出的音素序列；对所述音素序列进行平滑处理以及发音协同处理，得到音素序列处理结果；其中，所述发音协同处理用于：根据当前音素的相邻音素对所述当前音素的发音口型的影响，对所述音素序列和/或音素对应的口型形变动画中的形变参数进行修正；根据所述音素序列处理结果对所述目标音频数据关联的目标虚拟人物进行口型形变动画的合成。通过本申请实施例，可以更好地契合汉语的发音，也进一步让口型显的更自然。

技术领域

本申请涉及表情动画处理技术领域，特别是涉及表情动画生成方法及电子设备。

背景技术

随着游戏用户对品质细节的要求越来越高，其对于游戏角色对话过程中的表情与口型的灵活、生动、自然表达也十分关注。为了让用户在游戏虚拟世界中能切实的感受到游戏角色是有灵魂的，带给用户真实的交互体感尤其重要。

为了达到上述目的，一种方式是通过人工的方式，根据具体所需的对话内容，对虚拟人物的表情、口型等进行设计，生成表情动画。但是，常规普通20字一条的对话，手工进行动画设计大概需要半天的动画人力，如一共1000条，则需要500人天的工作量，人力成本会很高，而且效率低下。因此，需要一套语音文字转化表情的自动化生产流程，以便更系统的、更低成本、且更效率的产出表情动画。

现有技术中存在一些自动化口型动画生产方案，这些方案通常在英语版本的口型动画效果较好，但是对于汉语等其他语言版本而言，生产出的口型动画往往会存在口型无法完全对上、不自然等问题。

发明内容

本申请提供了表情动画生成方法及电子设备，可以更好地契合汉语的发音，也进一步让口型显的更自然。

本申请提供了如下方案：

一种表情动画生成方法，包括：

将目标音频数据划分为时间维度上的多个帧片段，并对各帧片段进行音素预测，得到预测出的音素序列；

对所述音素序列进行平滑处理以及发音协同处理，得到音素序列处理结果；其中，所述发音协同处理用于：根据当前音素的相邻音素对所述当前音素的发音口型的影响，对所述音素序列和/或音素对应的口型形变动画中的形变参数进行修正；

根据所述音素序列处理结果对所述目标音频数据关联的目标虚拟人物进行口型形变动画的合成。

其中，所述对各帧片段进行音素预测，包括：

提取各帧片段的特征，组成带有时间序列的特征向量集合；

将所述带有时间序列的特征向量集合作为第一深度学习模型的输入信息，以用于预测出各帧片段对应的音素，其中，所述第一深度学习模型在对每个帧片段进行音素预测时，结合当前帧片段前后目标数量的帧片段的特征向量，对当前帧片段进行音素预测。

其中，所述对所述音素序列进行平滑处理以及基于发音协同规则的处理，包括：

在进行平滑处理之前，从所述音素序列中确定目标辅音音素；其中，在同一音节内，所述目标辅音音素本身不产生口型，该音节的发音口型跟随该目标辅音音素后面的元音音素的发音口型；

将所述目标辅音音素对应的多个帧片段按照预置比例分配给所述目标辅音音素后面的元音音素，以延长所述元音音素对应的口型形变动画的持续时间。

其中，所述对所述音素序列进行平滑处理以及基于发音协同规则的处理，包括：

在进行平滑处理之前，从所述音素序列中确定目标元音音素；其中，在同一音节内，所述目标元音音素跟随在辅音音素之后；

将所述目标元音音素对应的口型形变动画的形变幅度参数调低，以减小该音节发音口型的口型幅度。