[发明专利]一种可在线训练个性化音色库的语音合成方法和系统

权利要求书

1.一种可在线训练个性化音色库的语音合成方法，其特征在于，包括：

使用至少两组语料训练预训练语音合成模型，每一组语料包括文本及其录制语音，每一组语料的录制语音具有一种音色，不同组语料中的录制语音的音色不同；

使用目标发音人的语料基于所述预训练语音合成模型训练语音合成模型，所述目标发音人的语料包括至少一句文本及由目标发音人发音录制的所述至少一句文本的语音；

将所述语音合成模型部署在语音合成系统中，以使得所述语音合成系统用于根据输入的文本合成目标音色的语音，所述目标音色为目标发音人的音色；

其中，所述预训练语音合成模型和所述语音合成模型具有相同的模型结构；

所述语音合成模型从输入到输出依次包括：第一词嵌入层、编码器、重复编组层、解码器和后处理网络；所述第一词嵌入层、所述编码器、所述重复编组层、所述解码器和所述后处理网络依次耦合，以形成数据流；所述语音合成模型还包括发音单元嵌入层，所述发音单元嵌入层的输出耦合至所述数据流中；

所述使用至少两组语料训练预训练语音合成模型，包括：以所述至少两组语料中的文本作为所述第一词嵌入层的输入信号，以每一组语料对应的音色标识作为发音单元嵌入层的输入信号，不同组语料对应的音色标识不同，以所述录制语音对应的频谱信号作为所述后处理网络输出的监督信号，训练所述预训练语音合成模型；以及，预留至少一个音色标识作为目标发音人的音色标识；

所述使用目标发音人的语料基于所述预训练语音合成模型训练语音合成模型，包括：以所述目标发音人的至少一句文本作为所述第一词嵌入层的输入信号，以所述目标发音人的音色标识作为所述发音单元嵌入层的输入信号，以所述目标发音人录制的语音作为所述后处理网络输出的监督信号，在所述预训练语音合成模型的基础上训练所述语音合成模型。

2.根据权利要求1所述的方法，其特征在于，所述发音单元嵌入层的输出耦合至所述数据流中的方式包括以下任意一种或多种：

所述发音单元嵌入层的输出耦合至所述编码器的输入；

所述发音单元嵌入层的输出耦合至所述解码器的输入；

所述发音单元嵌入层的输出耦合至所述处理网络的输入。

3.根据权利要求1所述的方法，其特征在于，还包括：使用目标发音人的语料训练所述语音合成模型时的迭代次数小于等于预设阈值。

4.根据权利要求1所述的方法，其特征在于，当所述语音合成模型在训练中的连续两个迭代的验证数据上的模型损失未低于历次迭代的最低损失时，结束训练所述语音合成模型；所述验证数据包括所述目标发音人的语料中的至少一句文本。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述使用目标发音人的语料训练所述语音合成模型，还包括：

固化或者冻结所述语音合成模型的部分参数，包括使所述部分参数在所述语音合成模型的训练过程中不被调整，也不进行梯度计算，所述部分参数不包括所述发音单元嵌入层的参数；

和/或者，

设置所述发音单元嵌入层的训练优先级大于所述语音合成模型的其他部分的优先级。

6.一种语音合成系统，其特征在于，包括：

预训练模块，用于使用至少两组语料训练预训练语音合成模型，每一组语料包括文本及其录制语音，每一组语料的录制语音具有一种音色，不同组语料中的录制语音的音色不同；

训练模块，用于使用目标发音人的语料基于所述预训练语音合成模型训练语音合成模型，所述目标发音人的语料包括至少一句文本及由目标发音人发音录制的所述至少一句文本的语音；

部署模块，用于将所述语音合成模型部署在语音合成系统中，以使得所述语音合成系统用于根据输入的文本合成目标音色的语音，所述目标音色为目标发音人的音色；

其中，所述预训练语音合成模型和所述语音合成模型具有相同的模型结构；

所述语音合成模型从输入到输出依次包括：第一词嵌入层、编码器、重复编组层、解码器和后处理网络；所述第一词嵌入层、所述编码器、所述重复编组层、所述解码器和所述后处理网络依次耦合，以形成数据流；所述语音合成模型还包括发音单元嵌入层，所述发音单元嵌入层的输出耦合至所述数据流中；

所述预训练模块，具体用于以所述至少两组语料中的文本作为所述第一词嵌入层的输入信号，以所述录制语音对应的频谱信号作为所述后处理网络输出的监督信号，以每一组语料对应的音色标识作为发音单元嵌入层的输入信号，不同组语料对应的音色标识不同，训练所述预训练语音合成模型；以及，预留至少一个音色标识作为目标发音人的音色标识；

所述训练模块，具体用于以所述目标发音人的至少一句文本作为所述第一词嵌入层的输入信号，以所述目标发音人的音色标识作为所述发音单元嵌入层的输入信号，以所述目标发音人录制的语音作为所述后处理网络输出的监督信号，在所述预训练语音合成模型的基础上训练所述语音合成模型。