[发明专利]歌唱合成方法和装置

说明书

本申请提供了一种歌唱合成方法和装置，该方法包括：获取目标歌曲的乐谱图像，该乐谱图像包括歌词和五线谱；根据该目标歌曲的乐谱图像和歌唱生成模型，确定该目标歌曲的音频特征，该歌唱生成模型是基于统计学模型算法训练得到的，该音频特征包括基频；根据该目标歌曲的基频，确定该目标歌曲包括的多个音符和该多个音符中每个音符的时长；根据该多个音符中每个音符的时长，确定该多个音符中待加入颤音的目标音符；在该目标音符的基频上加入模拟颤音，得到歌唱合成结果。采用本申请提供的歌唱合成方法和装置，能够提高歌唱合成的自然度，从而更加贴近真人的演唱。

技术领域

本申请涉及智能决策领域，并且更具体地，涉及智能决策领域中歌唱合成方法和装置。

背景技术

歌唱合成技术，其目的是让机器通过学习，把带有歌词的乐谱图像转换为歌唱语音的技术，是现代人工智能发展在音乐和娱乐领域的重要分支。歌唱合成最大的难题之一就是歌声的自然度。

根据在歌唱生成中使用的参照资源，歌唱声音合成可以分为两类。在第一类中，歌唱声音由歌词合成，被称为歌词至歌唱的合成。在第二类中，歌唱声音由歌词的口语表达生成，被称为说话直歌唱的合唱。

然而，采用现有的歌唱合成技术，合成自然度较差，与真人演唱的效果差别较大。

发明内容

本申请提供一种歌唱合成方法和装置，能够提高歌唱合成的自然度，从而更加贴近真人的演唱。

为实现上述目的，本申请提供一种歌唱合成方法，包括以下内容：

获取目标歌曲的乐谱图像，所述乐谱图像包括歌词和五线谱；

根据所述目标歌曲的乐谱图像和歌唱生成模型，确定所述目标歌曲的音频特征，所述歌唱生成模型是基于统计学模型算法训练得到的，所述音频特征包括基频；

根据所述目标歌曲的基频，确定所述目标歌曲包括的多个音符和所述多个音符中每个音符的时长；

根据所述多个音符中每个音符的时长，确定所述多个音符中需要加入颤音的目标音符；

在所述目标音符的基频上加入模拟颤音，得到歌唱合成结果。

在一种可能的实现方式中，根据所述目标歌曲的乐谱图像和歌唱生成模型，确定所述目标歌曲的音频特征，包括：提取所述目标歌曲的乐谱图像中的歌词的语言学特征和五线谱的音乐特征，所述歌词的语言学特征包括发音和前后文关系，所述五线谱的音乐特征包括音调、拍号、各音符的音高、各音符的时长；根据所述目标歌曲的语言学特征、所述目标歌曲的音乐特征和所述歌唱生成模型，确定所述目标歌曲的音频特征。

在一种可能的实现方式中，根据所述多个音符中每个音符的时长，确定所述多个音符中需要加入颤音的目标音符，包括：将所述多个音符中时长大于预设的第一时长的音符确定为所述目标音符。

在一种可能的实现方式中，在所述目标音符的基频上加入模拟颤音，得到歌唱合成结果之前，所述方法还包括：根据所述目标音符的时长，确定所述模拟颤音的信号参数，所述模拟颤音为正弦波信号，所述信号参数包括振幅和频率；根据所述模拟颤音的信号参数，得到所述模拟颤音。

在一种可能的实现方式中，所述方法还包括：检查所述目标音符所在片段中包括的每个音符的音量；若所述片段中包括的所有音符的平均音量大于所述目标歌曲中包括的所有音符的平均音量，则降低所述片段中包括的每个音符的音量。