[发明专利]基于虚拟人物的语音合成方法、装置、介质及设备

说明书

本公开涉及一种基于虚拟人物的语音合成方法、装置、介质及设备，所述方法包括：获取待合成文本对应的语音特征信息以及获取用于对所述待合成文本进行语音合成的乐理特征信息；将所述语音特征信息和所述乐理特征信息输入语音合成模型，获得与所述待合成文本对应的声学特征和面部图像特征，所述声学特征和所述面部图像特征的序列对齐；根据所述声学特征，获得与所述待合成文本对应的音频信息；在所述虚拟人物上输出所述音频信息，并根据所述面部图像特征控制所述虚拟人物的面部状态显示。因此，可以有效避免虚拟人物的语音输出状态和面部状态显示不一致的问题，提高语音合成的准确度，进而提升用户使用体验。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种基于虚拟人物的语音合成方法、装置、介质及设备。

背景技术

现今，随着计算机技术的迅速发展，虚拟人物应用逐渐增多。在驱动虚拟人物进行歌唱数据合成时，通常是直接通过虚拟人物形象直接输出语音合成数据，并控制虚拟人物形象循环展现不同的面部表情。然而在上述技术方案中，可能会出现在有唱字输出时，面部表情中嘴处于闭合的状态，造成面部表情状态与语音输出状态不一致。

目前并没有很好的解决方案能够解决上述问题。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种基于虚拟人物的语音合成方法，所述方法包括：

获取待合成文本对应的语音特征信息以及获取用于对所述待合成文本进行语音合成的乐理特征信息；

将所述语音特征信息和所述乐理特征信息输入语音合成模型，获得与所述待合成文本对应的声学特征和面部图像特征，所述声学特征和所述面部图像特征的序列对齐；

根据所述声学特征，获得与所述待合成文本对应的音频信息；

在所述虚拟人物上输出所述音频信息，并根据所述面部图像特征控制所述虚拟人物的面部状态显示。

第二方面，本公开提供一种基于虚拟人物的语音合成装置，所述装置包括：

第一获取模块，用于获取待合成文本对应的语音特征信息以及获取用于对所述待合成文本进行语音合成的乐理特征信息；

第一输入模块，用于将所述语音特征信息和所述乐理特征信息输入语音合成模型，获得与所述待合成文本对应的声学特征和面部图像特征，所述声学特征和所述面部图像特征的序列对齐；

第一处理模块，用于根据所述声学特征，获得与所述待合成文本对应的音频信息；

第二处理模块，用于在所述虚拟人物上输出所述音频信息，并根据所述面部图像特征控制所述虚拟人物的面部状态显示。

第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现基于虚拟人物的语音合成方法的步骤。

第四方面，本公开提供一种电子设备，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现基于虚拟人物的语音合成方法的步骤。