[发明专利]语音合成方法、装置、电子设备和存储介质

权利要求书

1.一种语音合成方法，其特征在于，应用于电子设备，所述电子设备预存有用户的标识及其对应的音色特征和预设转换模型，所述方法包括：

获取所述用户输入的待合成文本和所述用户的标识；

基于所述用户的标识获取对应的音色特征和预设转换模型；

利用预设合成模型对所述待合成文本进行语音合成，得到待转换音频；

利用所述预设转换模型基于所述音色特征对所述待转换音频进行音色转换，得到符合所述用户音色的音频。

2.根据权利要求1所述的方法，其特征在于，所述电子设备还预存有每种预设语音风格对应的基频特征和能量特征；

所述利用预设合成模型对所述待合成文本进行语音合成，得到待转换音频的步骤，包括：

获取所述用户选择的目标语音风格；

基于所述目标语音风格获取对应的目标基频特征和目标能量特征；

利用所述预设合成模型基于所述目标基频特征和所述目标能量特征，对所述待合成文本进行语音合成，得到包括所述目标语音风格的待转换音频。

3.根据权利要求1所述的方法，其特征在于，所述利用所述预设转换模型基于所述音色特征对所述待转换音频进行音色转换，得到符合所述用户音色的音频的步骤，包括：

利用所述预设转换模型对所述待转换音频进行特征提取，得到目标语音后验图谱特征；所述目标语音后验图谱特征表示所述待转换音频的内容；

利用所述预设转换模型基于所述目标语音后验图谱特征和所述音色特征，生成目标梅尔谱特征；

利用所述预设转换模型基于所述目标梅尔谱特征，生成符合所述用户音色的音频。

4.根据权利要求1所述的方法，其特征在于，所述预设转换模型是按照以下方式得到的：

基于多个语音样本对基础转换模型进行训练，得到初始转换模型；

基于所述用户的语音音频对所述初始转换模型进行训练，得到所述预设转换模型。

5.根据权利要求4所述的方法，其特征在于，所述初始转换模型包括初始编码器、初始声学子模型和初始声码器；

所述基于所述用户的语音音频对所述初始转换模型进行训练，得到所述预设转换模型的步骤，包括：

根据所述用户的语音音频，得到实际梅尔谱特征和所述用户的音色特征；

利用所述初始编码器对所述用户的语音音频进行特征提取，得到语音后验图谱特征；所述语音后验图谱特征表示所述用户的语音音频的内容；

利用所述初始声学子模型基于所述语音后验图谱特征和所述用户的音色特征，生成预测梅尔谱特征；

基于所述实际梅尔谱特征和所述预测梅尔谱特征，对所述初始声学子模型进行训练得到目标声学子模型；

利用所述初始声码器基于所述预测梅尔谱特征，生成预测语音音频；

基于所述用户的语音音频和所述预测语音音频，对所述初始声码器进行训练得到目标声码器；

获得包括所述初始编码器、所述目标声学子模型和所述目标声码器的预设转换模型。

6.根据权利要求1所述的方法，其特征在于，所述预设合成模型是按照以下方式得到的：

获取每种预设语音风格的多个语音样本，每个所述语音样本均具有标注文本；

利用基础合成模型提取每个所述标注文本的文本特征；

利用所述基础合成模型基于每个所述标注文本的文本特征进行预测，得到每个所述标注文本的时长特征、基频特征和能量特征；

利用所述基础合成模型基于每个所述标注文本的文本特征、时长特征、基频特征及能量特征，得到每个标注文本对应的梅尔谱特征；

利用所述基础合成模型基于每个标注文本对应的梅尔谱特征，得到每个合成音频；

基于全部语音样本和全部合成音频对所述基础合成模型进行训练，得到所述预设合成模型。