[发明专利]音频生成方法、装置、存储介质及电子设备

权利要求书

1.一种音频生成方法，其特征在于，所述方法包括：

获取目标用户的音色特征信息；

将所述音色特征信息与待合成文本输入语音合成模型，得到与所述待合成文本对应的音频；

其中，所述音色特征信息是通过将所述目标用户的语音输入音色编码器得到的，所述音色编码器是通过与文本编码器进行端到端的联合训练后得到的；

对所述音色编码器和所述文本编码器进行端到端的联合训练，包括：

将语音样本分别输入所述音色编码器和所述文本编码器，得到所述音色编码器输出的待合成音色特征信息和所述文本编码器输出的待合成文本特征信息；

将所述待合成音色特征信息和所述待合成文本特征信息输入语音生成器，得到合成语音，根据所述合成语音与所述语音样本的相似度训练所述音色编码器和所述文本编码器。

2.根据权利要求1所述的方法，其特征在于，在对所述音色编码器和所述文本编码器进行端到端的联合训练之前，包括：

利用音色分类器对所述音色编码器输出的所述待合成音色特征信息进行分类，得到所述音色分类器输出的分类结果，根据所述分类结果调整所述音色编码器的模型参数，在所述分类结果表征所述待合成音色特征信息对应的类别与所述语音样本的类别相同时，得到预训练完成的所述音色编码器。

3.根据权利要求1所述的方法，其特征在于，在对所述音色编码器和所述文本编码器进行端到端的联合训练之前，包括：

利用音色鉴别器对所述文本编码器输出的所述待合成文本特征信息进行音色鉴别，得到鉴别输出值，根据所述鉴别输出值调整所述文本编码器的模型参数，在所述鉴别输出值处于预设区间时，得到预训练完成的所述文本编码器。

4.根据权利要求1所述的方法，其特征在于，所述语音合成模型包括序列特征提取模块、语音合成子模块、声码器；

所述序列特征提取模块用于，从所述待合成文本中提取待合成文本序列；

所述语音合成子模块用于，根据所述待合成文本序列与所述音色特征信息合成梅尔频谱；

所述声码器用于，根据所述梅尔频谱生成与所述待合成文本对应的所述音频。

5.根据权利要求4所述的方法，其特征在于，所述语音合成模型是通过如下方式训练得到的：

将音频样本输入所述音色编码器，得到音色特征信息样本；

将所述音频样本、所述音色特征信息样本、与所述音频样本对应的文本样本作为所述语音合成模型的训练样本；

根据所述训练样本训练得到所述语音合成模型。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述待合成文本为教学例句，所述方法还包括：

通过所述目标用户的终端展示所述教学例句以及与所述教学例句对应的所述音频，以使所述目标用户通过所述音频学习所述教学例句的发音。

7.一种音频生成装置，其特征在于，所述装置包括：

获取模块，用于获取目标用户的音色特征信息；

合成模块，用于将所述音色特征信息与待合成文本输入语音合成模型，得到与所述待合成文本对应的音频；

其中，所述音色特征信息是通过将所述目标用户的语音输入音色编码器得到的，所述音色编码器是通过与文本编码器进行端到端的联合训练后得到的；

联合训练模块，用于将语音样本分别输入所述音色编码器和所述文本编码器，得到所述音色编码器输出的待合成音色特征信息和所述文本编码器输出的待合成文本特征信息；将所述待合成音色特征信息和所述待合成文本特征信息输入语音生成器，得到合成语音，根据所述合成语音与所述语音样本的相似度训练所述音色编码器和所述文本编码器。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-6中任一项所述方法的步骤。

9.一种电子设备，其特征在于，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。