[发明专利]一种基于音频信息的口型动画展示方法、装置及存储介质

权利要求书

1.一种基于音频信息的口型动画展示方法，包括：

检测同一场景中任意角色的音频信息，按照音频信息的时间顺序分析所述音频信息对应的音素序列；

查找与所述音素序列中各音素具有映射关系的口型信息；

依据所述时间顺序获取与查找到的所述口型信息对应帧的口型动画图片；

基于获取的口型动画图片生成口型动画并展示。

2.根据权利要求1所述的方法，其特征在于，按照音频信息的时间顺序分析所述音频信息对应的音素序列，包括：

将检测到的所述音频信息划分为多个音频片段；

按照多个音频片段的时间顺序分析所述音频信息对应的音素序列。

3.根据权利要求1或2所述的方法，其特征在于，按照音频信息的时间顺序分析所述音频信息对应的音素序列，包括：

按照音频信息的时间顺序提取所述音频信息的音频特征；

分析所述音频特征对应的观察序列，基于所述观察序列解码得到音素序列。

4.根据权利要求1或2所述的方法，其特征在于，检测同一场景中任意角色的音频信息之前，还包括：

获取多个离线音频文件，将所述离线音频文件中的离线音频划分为多个音频片段；

按照音频的时间顺序提取多个音频片段的音频特征；

利用口型识别模型分析所述音频特征对应的观察序列，基于所述观察序列解码得到音素序列，输出音素序列中各音素对应的口型信息；

在各音素和对应的口型信息间建立映射关系。

5.根据权利要求4所述的方法，其特征在于，利用口型识别模型分析所述音频特征对应的观察序列之前，还包括：

获取标注有口型信息的样本音频；

将所述样本音频划分为多个样本音频片段，提取各样本音频片段的音频特征；

将所述音频特征和所述样本音频标注的口型信息作为训练数据对所述口型识别模型进行训练。

6.根据权利要求4所述的方法，其特征在于，按照音频的时间顺序提取多个音频片段的音频特征，包括：

按照音频的时间顺序提取多个音频片段的梅尔倒谱系数特征。

7.根据权利要求1或2所述的方法，其特征在于，依据所述时间顺序获取与查找到的所述口型信息对应的口型动画图片，包括：

若查找到的口型信息属于预设的基础口型信息，从所述基础口型信息对应的口型动画图片中依据所述时间顺序获取与查找到的所述口型信息对应帧的口型动画图片。

8.一种基于音频信息的口型动画展示装置，包括：

检测模块，适于检测同一场景中任意角色的音频信息，按照音频信息的时间顺序分析所述音频信息对应的音素序列；

查找模块，适于查找与所述音素序列中各音素具有映射关系的口型信息；

获取模块，适于依据所述时间顺序获取与查找到的所述口型信息对应帧的口型动画图片；

展示模块，适于基于获取的口型动画图片生成口型动画并展示。

9.一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行权利要求1-7任一项所述的基于音频信息的口型动画展示方法。

10.一种计算设备，包括：处理器；存储有计算机程序代码的存储器；当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行权利要求1-7任一项所述的基于音频信息的口型动画展示方法。