[发明专利]语音合成方法、装置、电子设备和存储介质

说明书

本发明涉及语音处理技术领域，提供一种语音合成方法、装置、电子设备和存储介质。电子设备预存有用户的标识及其对应的音色特征和预设转换模型；获取用户输入的待合成文本和用户的标识，并基于用户的标识获取对应的音色特征和预设转换模型；然后利用预设合成模型对待合成文本进行语音合成，得到待转换音频；再利用预设转换模型基于音色特征对待转换音频进行音色转换，得到符合用户音色的音频。通过预设合成模型得到包含文本内容的音频，并通过预设转换模型将该音频进行音色转换得到包含文本内容且符合用户音色的音频。从而提升了合成效果和音频质量。

技术领域

本发明涉及语音处理技术领域，具体而言，涉及一种语音合成方法、装置、电子设备和存储介质。

背景技术

目前，基于语音合成技术，用户可以输入文本得到自己朗读这段文本的音频，实现这一功能需要用户的语音数据。但是，由于用户提供的语音往往音质不高且数据量少，所以会出现语音合成的效果不佳，合成音频质量差的情况。

发明内容

有鉴于此，本发明的目的在于提供一种语音合成方法、装置、电子设备和存储介质。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明提供一种语音合成方法，应用于电子设备，所述电子设备预存有用户的标识及其对应的音色特征和预设转换模型，所述方法包括：

获取所述用户输入的待合成文本和所述用户的标识；

基于所述用户的标识获取对应的音色特征和预设转换模型；

利用预设合成模型对所述待合成文本进行语音合成，得到待转换音频；

利用所述预设转换模型基于所述音色特征对所述待转换音频进行音色转换，得到符合所述用户音色的音频。

在可选的实施方式中，所述电子设备还预存有每种预设语音风格对应的基频特征和能量特征；

所述利用预设合成模型对所述待合成文本进行语音合成，得到待转换音频的步骤，包括：

获取所述用户选择的目标语音风格；

基于所述目标语音风格获取对应的目标基频特征和目标能量特征；

利用所述预设合成模型基于所述目标基频特征和所述目标能量特征，对所述待合成文本进行语音合成，得到包括所述目标语音风格的待转换音频。

在可选的实施方式中，所述利用所述预设转换模型基于所述音色特征对所述待转换音频进行音色转换，得到符合所述用户音色的音频的步骤，包括：

利用所述预设转换模型对所述待转换音频进行特征提取，得到目标语音后验图谱特征；所述目标语音后验图谱特征表示所述待转换音频的内容；

利用所述预设转换模型基于所述目标语音后验图谱特征和所述音色特征，生成目标梅尔谱特征；

利用所述预设转换模型基于所述目标梅尔谱特征，生成符合所述用户音色的音频。

在可选的实施方式中，所述预设转换模型是按照以下方式得到的：

基于多个语音样本对基础转换模型进行训练，得到初始转换模型；

基于所述用户的语音音频对所述初始转换模型进行训练，得到所述预设转换模型。

在可选的实施方式中，所述初始转换模型包括初始编码器、初始声学子模型和初始声码器；

所述基于所述用户的语音音频对所述初始转换模型进行训练，得到所述预设转换模型的步骤，包括：

根据所述用户的语音音频，得到实际梅尔谱特征和所述用户的音色特征；