[发明专利]歌曲合成方法、装置、可读介质及电子设备

说明书

本公开涉及一种歌曲合成方法、装置、可读介质及电子设备。方法包括：根据目标歌曲的歌曲信息，获取目标歌曲的时长特征信息；将时长特征信息和歌曲信息输入至预设的歌曲合成模型中，得到目标歌曲对应的声学特征信息，其中，预设的歌曲合成模型为基于注意力机制的序列到序列模型；通过声码器对声学特征信息进行合成，得到目标歌曲的歌唱音频。由于基于注意力机制的序列到序列模型采用端到端的架构，因此，可提取更丰富的声学特征信息，具有较好的时序建模能力，使得合成后的歌唱音频的发音更加清楚，走调的现象更少，合成的音域也更广。由此，提升了合成的歌唱音频的自然度和流畅性，使其比较接近真人演唱效果，用户听觉体验佳。

技术领域

本公开涉及语音合成技术领域，具体地，涉及一种歌曲合成方法、装置、可读介质及电子设备。

背景技术

近年来，歌曲合成技术一直备受社会各界的关注，该技术最大的便利性在于其可以将歌词和乐谱合成为人声演唱的音频，这使得与歌唱紧密相关的音乐制作、娱乐等领域对歌曲合成技术的进步有着迫切的期待。其中，歌曲合成最大的难题之一就是合成自然度较低、歌声机械感强，严重影响用户的听感。因此，如何根据歌词和乐谱，合成自然度高，接近真人演唱效果的歌曲成为歌曲合成技术的研究热点。

发明内容

提供该部分内容以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种歌曲合成方法，包括：

根据目标歌曲的歌曲信息，获取所述目标歌曲的时长特征信息，其中，所述歌曲信息包括歌词和乐谱，所述时长特征信息包括所述歌词所包含的每一音素对应的语音帧的数量；

将所述时长特征信息和所述歌曲信息输入至预设的歌曲合成模型中，得到所述目标歌曲对应的声学特征信息，其中，所述预设的歌曲合成模型为基于注意力机制的序列到序列模型；

通过声码器对所述声学特征信息进行合成，得到所述目标歌曲的歌唱音频。

第二方面，本公开提供一种歌曲合成装置，包括：

时长特征获取模块，用于根据目标歌曲的歌曲信息，获取所述目标歌曲的时长特征信息，其中，所述歌曲信息包括歌词和乐谱，所述时长特征信息包括所述歌词所包含的每一音素对应的语音帧的数量；

声学特征获取模块，用于将所述时长特征获取模块获取到的所述时长特征信息和所述歌曲信息输入至预设的歌曲合成模型中，得到所述目标歌曲对应的声学特征信息，其中，所述预设的歌曲合成模型为基于注意力机制的序列到序列模型；

音频合成模块，用于通过声码器对所述声学特征获取模块获取到的所述声学特征信息进行合成，得到所述目标歌曲的歌唱音频。

第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面提供的所述歌曲合成方法的步骤。

第四方面，本公开提供一种电子设备，包括：存储装置，其上存储有一个或多个计算机程序；一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现本公开第一方面提供的所述歌曲合成方法的步骤。

在上述技术方案中，首先获取目标歌曲的歌词所包含的每一音素对应的语音帧的数量；然后，根据歌词所包含的每一音素对应的语音帧的数量、歌词和乐谱，通过基于注意力机制的序列到序列模型获取目标歌曲对应的声学特征信息；最后，利用声码器对上述声学特征信息进行合成，得到目标歌曲的歌唱音频。由于基于注意力机制的序列到序列模型采用端到端的架构，因此，能够提取更丰富的声学特征信息，具有较好的时序建模能力，使得合成后的歌唱音频的发音更加清楚，走调的现象更少，合成的音域也更广。由此，提升了合成的歌唱音频的自然度和流畅性，使其比较接近真人演唱效果，用户听觉体验佳。