[发明专利]动画生成方法、装置、存储介质及电子设备

权利要求书

1.一种动画生成方法，其特征在于，包括：

获取输入文本；

生成与所述输入文本对应的目标音素序列，所述目标音素序列包括与所述输入文本对应的音频中的每个音频帧对应的音素；

根据所述目标音素序列，确定与所述目标音素序列对应的表情动画曲线，所述表情动画曲线用于表征随时间变化的表情变化过程；

基于所述表情动画曲线对预设的虚拟形象进行渲染，生成所述虚拟形象的动画。

2.根据权利要求1所述的动画生成方法，其特征在于，所述生成与所述输入文本对应的目标音素序列，包括：

获取预配置的与所述输入文本对应的音素帧数序列，所述音素帧数序列中包括与所述输入文本对应的音素序列中每个音素的音频帧数；

根据所述音素序列中每个音素的音频帧数，对所述音素序列中每个音素的个数进行扩展，生成与所述输入文本对应的目标音素序列。

3.根据权利要求1所述的动画生成方法，其特征在于，所述生成与所述输入文本对应的目标音素序列，包括：

获取与所述输入文本对应的音频；

根据所述输入文本和所述音频，采用训练好的语音识别模型，生成与所述输入文本对应的目标音素序列。

4.根据权利要求3所述的动画生成方法，其特征在于，所述语音识别模型通过以下方式训练得到：

获取多个第一样本，每个所述第一样本包括样本文本、与所述样本文本对应的样本音频和样本目标音素序列，所述样本目标音素序列包括与所述样本音频中每个音频帧对应的音素；

基于多个第一样本迭代更新初始语音识别模型的参数以减小各第一样本对应的第一损失函数值，得到训练好的语音识别模型；

其中，各第一样本对应的第一损失函数值通过以下过程确定：

根据语音识别模型对所述第一样本进行处理，得到预测目标音素序列；

基于所述预测目标音素序列和所述第一样本的样本目标音素序列的差异，确定所述第一样本对应的第一损失函数值。

5.根据权利要求1-4任一所述的动画生成方法，其特征在于，所述根据所述目标音素序列，确定与所述目标音素序列对应的表情动画曲线，包括：

根据表情预测模型对所述目标音素序列进行处理，得到所述目标音素序列中每个音素的各表情类别的权重；

针对所述目标音素序列中的每个音素，对该音素的各表情类别的权重进行加权，并基于加权结果确定与该音素对应的目标表情参数；

根据所述目标音素序列中所有音素的目标表情参数，确定与所述目标音素序列对应的表情动画曲线。

6.根据权利要求5所述的动画生成方法，其特征在于，所述表情预测模型包括特征提取网络和线性网络，所述根据表情预测模型对所述目标音素序列进行处理，得到所述目标音素序列中每个音素的各表情类别的权重，包括：

根据所述特征提取网络对所述目标音素序列进行处理，得到所述目标音素序列的目标特征向量；

根据所述线性网络对所述目标特征向量进行处理，得到所述目标音素序列中每个音素的各表情类别的权重。

7.根据权利要求6所述的动画生成方法，其特征在于，所述特征提取网络包括编码层、第一卷积网络层、池化层、第二卷积网络层和高速神经网络层，所述根据所述特征提取网络对所述目标音素序列进行处理，得到所述目标音素序列的目标特征向量，包括：

根据所述编码层对所述目标音素序列进行处理，得到第一特征向量；

根据所述第一卷积网络层对所述第一特征向量进行处理，得到多个第二特征向量；

根据所述池化层对经过堆叠操作的所述多个第二特征向量进行处理，得到第三特征向量；

根据所述第二卷积网络层对所述第三特征向量进行处理，得到第四特征向量；

根据所述高速神经网络层对所述第四特征向量和所述第一特征向量进行处理，得到所述目标特征向量。