[发明专利]表情动画生成方法及电子设备

权利要求书

1.一种表情动画生成方法，其特征在于，包括：

将目标音频数据划分为时间维度上的多个帧片段，并对各帧片段进行音素预测，得到预测出的音素序列；

对所述音素序列进行平滑处理以及发音协同处理，得到音素序列处理结果；其中，所述发音协同处理用于：根据当前音素的相邻音素对所述当前音素的发音口型的影响，对所述音素序列和/或音素对应的口型形变动画中的形变参数进行修正；在进行平滑处理之前，从所述音素序列中确定目标元音音素；其中，所述对所述音素序列进行平滑处理以及基于发音协同规则的处理，包括：在同一音节内，所述目标元音音素跟随在辅音音素之后，将所述目标元音音素对应的口型形变动画的形变幅度参数调低，以减小该音节发音口型的口型幅度；

根据所述音素序列处理结果对所述目标音频数据关联的目标虚拟人物进行口型形变动画的合成。

2.根据权利要求1所述的方法，其特征在于，

所述对各帧片段进行音素预测，包括：

提取各帧片段的特征，组成带有时间序列的特征向量集合；

将所述带有时间序列的特征向量集合作为第一深度学习模型的输入信息，以用于预测出各帧片段对应的音素，其中，所述第一深度学习模型在对每个帧片段进行音素预测时，结合当前帧片段前后目标数量的帧片段的特征向量，对当前帧片段进行音素预测。

3.根据权利要求1所述的方法，其特征在于，

所述对所述音素序列进行平滑处理以及基于发音协同规则的处理，还包括：

在进行平滑处理之前，从所述音素序列中确定目标辅音音素；其中，在同一音节内，所述目标辅音音素本身不产生口型，该音节的发音口型跟随该目标辅音音素后面的元音音素的发音口型；

将所述目标辅音音素对应的多个帧片段按照预置比例分配给所述目标辅音音素后面的元音音素，以延长所述元音音素对应的口型形变动画的持续时间。

4.根据权利要求1所述的方法，其特征在于，

所述对所述音素序列进行平滑处理以及基于发音协同规则的处理，还包括：

在进行平滑处理之前，从所述音素序列中确定代表前鼻音或者后鼻音的尾音音素；

将同一音节内所述尾音音素对应的多个帧片段按照预置比例分配给所述尾音音素前面的元音音素，并将所述元音音素对应的口型形变动画的形变幅度参数调低，以延长所述元音音素对应的口型形变动画的持续时间，并减小该音节发音口型的口型幅度。

5.根据权利要求1所述的方法，其特征在于，

所述对所述音素序列进行平滑处理以及基于发音协同规则的处理，还包括

在进行平滑处理之后，如果目标帧片段上叠加了在发音时需要将口型闭合的音素，以及在发音时需要将口型张开的音素，则通过对所述目标帧片段上各音素的口型张开幅度进行归一化处理，减小所述需要将口型张开的音素的口型张开幅度，以完成所述需要将口型闭合的音素的口型闭合动作。

6.根据权利要求1所述的方法，其特征在于，

所述对所述音素序列进行平滑处理以及基于发音协同规则的处理，还包括

在进行平滑处理之后，如果目标帧片段上叠加了多个在发音时需要将口型张开的音素，则通过对所述目标帧片段上各音素的口型张开幅度进行归一化处理，以限制口型的最大张开幅度。

7.根据权利要求1至6任一项所述的方法，其特征在于，还包括：

对所述目标音频数据进行情绪识别；

根据识别出的目标情绪类型，对所述目标音频数据关联的目标虚拟人物进行与情绪表达相关的其他多个表情发生部位的形变动画的合成。

8.根据权利要求7所述的方法，其特征在于，还包括：

在对所述目标音频数据进行情绪识别时，确定所识别出的情绪类别的置信度；

在对所述其他多个表情发生部位的形变动画的合成时，通过所述置信度对所述目标情绪类型对应的其他多个表情发生部位的形变动画的形变参数进行调整。