[发明专利]基于唱本的语音合成方法、装置、可读介质和电子设备

说明书

本公开涉及一种基于唱本的语音合成方法、装置、可读介质和电子设备，涉及电子信息处理技术领域，该方法包括：获取目标唱本中包括的目标文本和目标文本对应目标乐谱，提取目标文本对应的音素序列，和目标乐谱对应的音高序列，音高序列包括：音素序列中每个音素对应的音高，根据音素序列，通过预先训练的时长预测模型预测时长序列，时长序列包括：音素序列中每个音素对应的时长，根据音素序列、音高序列和时长序列，通过预先训练的语音合成模型合成目标文本对应的符合目标乐谱的目标音频，且目标音频与时长序列匹配。本公开能够根据唱本中包括的文本和乐谱，确定对应的音素序列、音高序列和时长序列，从而合成符合唱本的音频，提高了音频的表现力。

技术领域

本公开涉及电子信息处理技术领域，具体地，涉及一种基于唱本的语音合成方法、装置、可读介质和电子设备。

背景技术

随着电子信息处理技术的不断发展，语音作为人们获取信息的重要载体，已经被广泛应用于日常生活和工作中。涉及语音的应用场景中，通常会包括语音合成的处理，语音合成是指将用户指定的文本，合成为音频。然而，仅根据文本合成的音频往往比较平淡，表现力也较弱，无法满足用户对多样化音频的需求。如果用户需要合成具有某种特色的音频，而日常说话的音频又不具有该特色，那么现有的语音合成的处理方式，无法合成满足该特色的音频。例如戏剧音频，由于戏剧音频中每个音素的时长差别非常大，时长最短的可能有几十毫秒，时长最长的可能达到十秒，与日常说话的音频中每个音素占一百毫秒左右的情况差别很大，因此很难合成戏剧音频。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种基于唱本的语音合成方法，所述方法包括：

获取目标唱本中包括的目标文本和所述目标文本对应目标乐谱；

提取所述目标文本对应的音素序列，和所述目标乐谱对应的音高序列，所述音高序列包括：所述音素序列中每个音素对应的音高；

根据所述音素序列，通过预先训练的时长预测模型预测时长序列，所述时长序列包括：所述音素序列中每个音素对应的时长；

根据所述音素序列、所述音高序列和所述时长序列，通过预先训练的语音合成模型合成所述目标文本对应的符合所述目标乐谱的目标音频，且所述目标音频与所述时长序列匹配。

第二方面，本公开提供一种基于唱本的语音合成装置，所述装置包括：

获取模块，用于获取目标唱本中包括的目标文本和所述目标文本对应目标乐谱；

提取模块，用于提取所述目标文本对应的音素序列，和所述目标乐谱对应的音高序列，所述音高序列包括：所述音素序列中每个音素对应的音高；

预测模块，用于根据所述音素序列，通过预先训练的时长预测模型预测时长序列，所述时长序列包括：所述音素序列中每个音素对应的时长；

合成模块，用于根据所述音素序列、所述音高序列和所述时长序列，通过预先训练的语音合成模型合成所述目标文本对应的符合所述目标乐谱的目标音频，且所述目标音频与所述时长序列匹配。

第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。