[发明专利]基于语音的口型动画合成装置、方法及可读存储介质

说明书

本发明公开了一种基于语音的口型动画合成装置，包括存储器和处理器，存储器上存储有可在处理器上运行的口型动画合成程序，该程序被处理器执行时实现如下步骤：获取目标文本数据，根据发音词典获取目标文本数据中的音素特征；将音素特征输入到预先训练好的深度神经网络模型中，输出声学特征，将声学特征输入到语音合成器中输出语音数据；根据语音数据、预先训练好的张量模型以及说话人标识信息，获取口型数据；根据口型数据生成与语音数据对应的口型动画。发明还提出一种基于语音的口型动画合成方法以及一种计算机可读存储介质。本发明解决了现有技术中无法展示与合成的语音数据匹配的、并具有真实感的口型动画的技术问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于语音的口型动画合成装置、方法及可读存储介质。

背景技术

语音合成，又称为文语转换技术，是一种能够将文字信息转化为语音并进行朗读的技术。其涉及声学、语言学、数字信号处理、计算机科学等多个学科技术，是中文信息处理领域的一项前沿技术，解决的主要问题是如何将文字信息转化为可听的声音信息。

在一些应用场景中，例如计算机辅助发音训练的应用场景，需要在播放语音数据时，动态地展示说话人的口型变化情况，以帮助用户进行发音训练，在现有技术中，播放的是合成的语音数据时，由于没有与之对应的真实的说话人的口型数据可供展示，导致无法展示与合成的语音数据匹配的、并具有真实感的口型动画。

发明内容

本发明提供一种基于语音的口型动画合成装置、方法及可读存储介质，其主要目的在于解决现有技术中无法展示与合成的语音数据匹配的、并具有真实感的口型动画的技术问题。

为实现上述目的，本发明提供一种基于语音的口型动画合成装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的口型动画合成程序，所述口型动画合成程序被所述处理器执行时实现如下步骤：

获取目标文本数据，根据发音词典获取所述目标文本数据中的音素特征；

将所述音素特征输入到预先训练好的深度神经网络模型中，输出与所述音素特征对应的声学特征，所述声学特征包括梅尔倒谱系数MFCC特征、发音时长和发音基频；

将所述声学特征输入到语音合成器中，输出与所述目标文本数据对应的语音数据；

根据所述语音数据、预先训练好的张量模型以及预先设置的说话人标识信息，获取与所述语音数据和所述说话人标识信息对应的口型数据，所述张量模型表达语音数据的发音特征与口型数据的口型位置特征之间的相关关系；

根据所述口型数据生成与所述语音数据对应的口型动画，以供在播放所述语音数据的同时，展示所述口型动画。

可选地，所述获取目标文本数据，根据发音词典获取所述目标文本数据中的音素特征的步骤包括：

获取目标文本数据，并对所述目标文本数据进行分词处理，以获取分词结果；

通过发音词典将分词结果中的词转换为音素特征。

可选地，所述口型动画合成程序还可被所述处理器执行，以实现如下步骤：

基于至少一个说话人的语料构建样本库，所述语料包括语音数据，以及与语音数据对应的文本数据和口型数据；

根据所述样本库中的文本数据和所述语音数据训练深度神经网络模型，获取深度神经网络模型的模型参数；

根据所述样本库中的语音数据和口型数据训练所述张量模型，获取所述张量模型的模型参数。

可选地，所述根据所述样本库中的文本数据和所述语音数据训练深度神经网络模型，获取深度神经网络模型的模型参数的步骤包括：