[发明专利]音频合成方法、装置、设备以及存储介质

权利要求书

1.一种音频合成方法，包括：

获取待合成音频和目标音频；

基于所述待合成音频，确定对应的语言学特征；

基于所述目标音频，确定目标音色；

基于所述待合成音频、所述语言学特征和所述目标音色，确定声学特征；

基于所述声学特征，合成目标音色音频，并输出。

2.根据权利要求1所述的方法，其中，所述基于所述待合成音频，确定对应的语言学特征，包括：

根据所述待合成音频和预训练的识别模型，确定所述待合成音频对应的语言学特征，其中，所述预训练的识别模型用于表征音频与语言学特征之间的对应关系。

3.根据权利要求1所述的方法，其中，所述基于所述目标音频，确定目标音色，包括：

根据所述目标音频和预训练的身份验证模型，确定所述目标音频对应的身份向量，其中，所述预训练的身份验证模型用于表征音频与身份向量之间的对应关系；

根据所述身份向量，确定目标音色。

4.根据权利要求1所述的方法，其中，所述基于所述待合成音频、所述语言学特征和所述目标音色，确定声学特征，包括：

根据所述待合成音频和预训练的识别模型，确定所述待合成音频对应的文本，其中，所述预训练的识别模型用于表征音频与文本之间的对应关系；

根据所述文本、所述语言学特征、所述目标音色和预训练的转换模型，确定声学特征，其中，所述预训练的转换模型用于表征文本、语言学特征、音色与声学特征之间的对应关系。

5.根据权利要求4所述的方法，其中，所述方法还包括：

获取初始神经网络模型；

获取训练样本集合，其中，所述训练样本集合中的训练样本包括文本、语言学特征、音色以及标注的与所述文本、所述语言学特征、所述音色对应的声学特征；

将所述训练样本集合中的训练样本的文本、语言学特征、音色作为所述初始神经网络模型的输入，将与输入的文本、语言学特征、音色对应的声学特征作为期望输出，对所述初始神经网络模型进行训练；

将训练后的所述初始神经网络模型确定为所述转换模型。

6.根据权利要求1～5任一项所述的方法，其中，所述待合成音频包括歌唱音频，所述目标音色音频包括对应于所述歌唱音频的具有目标音色的歌唱音频。

7.根据权利要求1～5任一项所述的方法，其中，所述待合成音频包括第一语言的歌唱音频，所述目标音色音频包括对应于所述第一语言的歌唱音频的具有目标音色的第二语言的歌唱音频，其中，所述第二语言包括所述第一语言。

8.一种音频合成装置，包括：

获取单元，被配置成获取待合成音频和目标音频；

语言学特征确定单元，被配置成基于所述待合成音频，确定对应的语言学特征；

目标音色确定单元，被配置成基于所述目标音频，确定目标音色；

声学特征确定单元，被配置成基于所述待合成音频、所述语言学特征和所述目标音色，确定声学特征；

合成单元，被配置成基于所述声学特征，合成目标音色音频，并输出。

9.一种音频合成电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。