[发明专利]一种可在线训练个性化音色库的语音合成方法和系统

说明书

本申请实施例提供了一种可在线训练个性化音色库的语音合成方法及系统。其中，该方法包括：使用至少两组语料训练预训练语音合成模型，每一组语料包括文本及其录制语音，每一组语料的录制语音具有一种音色，不同组语料中的录制语音的音色不同；使用目标发音人的语料基于预训练语音合成模型训练语音合成模型，目标发音人的语料包括目标发音人的至少一句文本及其录制语音；将语音合成模型部署在语音合成系统中，以使得语音合成系统用于根据输入的文本合成目标音色的语音，目标音色为目标发音人的音色。本申请的技术方案使用少量的目标发音人的语料，快速且准确地训练得到一个语音合成模型，通过该模型可以准确地合成出与目标发音人音色一致的语音。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种可在线训练个性化音色库的语音合成方法和系统。

背景技术

基于语音合成技术，用户(人类)与机器(例如：机器人、手机、智能音箱等)可以实现语音对话等人机交互功能。当用户对机器说话时，机器会以预设的话术回复用户。一般来说，预设话术可以包括固定文本和变量文本。其中，固定文本指的是不会根据任何情况而发生变化的文本，变量文本指的是会根据特定情况而实时变化的文本。

在目前的人机交互场景中，固定文本会使用录音员录制好的语音，而变量文本会使用语音合成技术合成为与录音员录制好的语音具有相同音色的语音(以下简称同音色语音)，然后再将录音员录制好的语音与同音色语音拼接在一起，得到回复给用户的语音内容。

目前，同音色语音主要通过语音合成模型来生成，但是目前的语音合成模型普遍存在训练成本高，因此存在偏差的问题。

发明内容

本申请实施例提供了一种可在线训练个性化音色库的语音合成方法和系统，能够使用少量的目标发音人的语料，快速且准确地训练得到一个语音合成模型，通过该语音合成模型可以准确地合成出与目标发音人音色一致的语音。

第一方面，本申请实施例提供了一种可在线训练个性化音色库的语音合成方法，包括：使用至少两组语料训练预训练语音合成模型，每一组语料包括文本及其录制语音，每一组语料的录制语音具有一种音色，不同组语料中的录制语音的音色不同；使用目标发音人的语料基于预训练语音合成模型训练语音合成模型，目标发音人的语料包括至少一句文本及由目标发音人发音录制的至少一句文本的语音；将语音合成模型部署在语音合成系统中，以使得语音合成系统用于根据输入的文本合成目标音色的语音，目标音色为目标发音人的音色；其中，预训练语音合成模型和语音合成模型具有相同的模型结构。

在一种实现方式中，语音合成模型从输入到输出依次包括：第一词嵌入层、编码器、重复编组层、解码器和后处理网络；第一词嵌入层、编码器、重复编组层、解码器和后处理网络依次耦合，以形成数据流；语音合成模型还包括发音单元嵌入层，发音单元嵌入层的输出耦合至数据流中。

在一种实现方式中，发音单元嵌入层的输出耦合至数据流中的方式包括以下任意一种或多种：发音单元嵌入层的输出耦合至编码器的输入；发音单元嵌入层的输出耦合至解码器的输入；发音单元嵌入层的输出耦合至处理网络的输入。

在一种实现方式中，使用至少两组语料训练预训练语音合成模型，包括：以至少两组语料中的文本作为第一词嵌入层的输入信号，以录制语音对应的频谱信号作为后处理网络输出的监督信号，训练预训练语音合成模型。

在一种实现方式中，使用至少两组语料训练预训练语音合成模型，还包括：以每一组语料对应的音色标识作为发音单元嵌入层的输入信号，不同组语料对应的音色标识不同；以及，预留至少一个音色标识作为目标发音人的音色标识。

在一种实现方式中，使用目标发音人的语料基于预训练语音合成模型训练语音合成模型，包括：以目标发音人的至少一句文本作为第一词嵌入层的输入信号，以目标发音人的音色标识作为发音单元嵌入层的输入信号，以目标发音人录制的语音作为后处理网络输出的监督信号，在所述预训练语音合成模型的基础上训练语音合成模型。