[发明专利]构建个性化歌唱风格频谱合成模型的方法及装置

说明书

本发明公开了一种构建个性化歌唱风格频谱合成模型的方法及装置，该方法包括：训练源发音人朗读风格频谱合成模型和歌唱风格频谱合成模型；获取目标发音人朗读风格数据；根据所述源发音人朗读风格频谱合成模型及所述目标发音人朗读风格数据，确定源发音人与目标发音人的音色转换关系；根据所述音色转换关系对所述源发音人歌唱风格频谱合成模型进行模型转换，得到目标发音人歌唱风格频谱合成模型。本发明通过目标发音人少量朗读风格数据即可得到其歌唱风格合成模型，大大降低了一般用户构建歌唱合成模型的难度，进而有效地提高了个性化歌唱合成效果。

技术领域

本发明涉及语音合成技术领域，具体涉及一种构建个性化歌唱风格频谱合成模型的方法及装置。

背景技术

近年来，歌唱合成系统得到了广泛的研究和应用，其中基于隐马尔可夫模型(Hidden Markov Model，HMM)的参数合成系统以及基于波形拼接合成系统达到了实用标准。相比于基于波形拼接合成系统，基于HMM的参数合成方法对训练数据量要求较少且系统规模较小，因而具有较好的实用价值。

基于参数合成的歌唱合成系统首先分别确定各基本合成单元(如音节，音素等)的时长参数序列、基频参数序列以及频谱参数序列，随后再根据合成参数序列利用参数合成器得到连续歌唱信号。

传统歌唱合成系统的构建通常是由固定发音人预先录制歌曲语音，并据此训练得到时长、基频及频谱的合成模型，并通过语音合成器构建歌唱合成系统。基于固定发音人数据构建的歌唱合成系统合成音色较为单一，而很多情况下用户则希望用自己的音色或其指定的音色来合成歌曲，即希望合成歌曲具有个性化的音色特点。在个性化歌唱合成模型构建时，由于普通用户很难收集到大量的歌唱数据且即使获得了少量的歌曲数据，由于受演唱水平的影响、以及演唱者在演唱时或多或少会加入一些演绎成分，也很难获得准确的标注信息(如下文所述的音素序列、韵律词、韵律短语、音高和时值等信息)，对此，传统的基于语音数据训练得到的合成模型往往不够正确，直接影响了合成效果。

针对个性化歌唱合成的应用需求，以及存在的训练歌唱数据不足及标注不够准确的问题，有研究人员提出直接采用个性化朗读风格的频谱模型作为歌唱频谱合成模型。由于语音数据最重要的控制参数基频和频谱具有较强的相关性，如果将一种风格语音的基频与另一种风格语音的频谱共同合成语音，则会由于基频与频谱不搭配而导致生成的语音不自然。显然，朗读风格语音与歌唱风格语音存在较大的差别，其中歌唱风格语音基频范围跨度很大，而朗读风格语音基频范围跨度相对较小，如果使用朗读风格合成模型生成频谱，而根据歌曲简谱得到基频，则会引入较明显的基频和频谱搭配性问题，使得合成的语音听起来自然度较低。显然合理解决基频参数和频谱参数匹配的问题，获得歌唱风格的个性化频谱合成模型是提高歌唱合成效果的关键。

发明内容

本发明提供一种构建个性化歌唱风格频谱合成模型的方法及装置，以解决歌唱风格的个性化频谱合成模型构建中存在的训练歌唱数据不足及标注不够准确的问题，满足个性化歌唱合成的应用需求。

为此，本发明提供如下技术方案：

一种构建个性化歌唱风格频谱合成模型的方法，包括：

训练源发音人朗读风格频谱合成模型和歌唱风格频谱合成模型，其中所述频谱合成模型包括频谱参数模型及对应的决策树；

获取目标发音人朗读风格数据；

根据所述源发音人朗读风格频谱合成模型及所述目标发音人朗读风格数据，确定源发音人与目标发音人的音色转换关系；

根据所述音色转换关系对所述源发音人歌唱风格频谱合成模型进行模型转换，得到目标发音人歌唱风格频谱合成模型。

优选地，所述训练源发音人的朗读风格频谱合成模型和歌唱风格频谱合成模型包括：

获取源发音人的朗读风格语音数据和歌唱风格语音数据，并对所述语音数据进行标注；