[发明专利]模型的训练方法、装置、语音转换方法、设备及存储介质

说明书

本申请涉及语音处理领域，并公开了一种语音转换模型的训练方法、装置、语音转换方法、设备及存储介质，所述方法包括：获取样本音频，将所述样本音频转换为样本梅尔频谱，所述样本音频包括无标签音频和有标签音频；采集噪声音频，并将所述噪声音频和所述样本梅尔频谱共同输入生成网络，得到输出梅尔频谱，所述噪声音频为无标签音频；将所述输出梅尔频谱输入判别网络，得到所述输出梅尔频谱的类型概率和所述输出梅尔频谱的标签；根据所述输出梅尔频谱的类型概率和所述输出梅尔频谱的标签对所述生成网络和所述判别网络进行交替迭代训练，并将训练完成的生成网络作为语音转换模型。以降低构建模型对于音频语料的要求，降低模型构建的复杂度。

技术领域

本申请涉及语言处理领域，尤其涉及一种语音转换模型的训练方法、装置、语音转换方法、设备及存储介质。

背景技术

随着语音转换技术的发展，它的应用前景也日益广泛，例如，可以用来做影视作品的配音，或者在语音合成时用于生成多样的合成结果等等。现有的语音转换大多采用对抗生成网络来进行语音转换，在进行语音转换时，所有的音频语料都需要具有对应的标签，在多说话人语音转换时，需要标识每一个音频对应的说话人标签，模型构建的复杂程度较高。

因此，如何降低构建模型对于音频语料的要求，降低模型构建的复杂度成为亟待解决的问题。

发明内容

本申请提供了一种语音转换模型的训练方法、装置、语音转换方法、设备及存储介质，以降低构建模型对于音频语料的要求，降低模型构建的复杂度。

第一方面，本申请提供了一种语音转换模型的训练方法，所述方法包括：

获取样本音频，将所述样本音频转换为样本梅尔频谱，所述样本音频包括无标签音频和有标签音频；采集噪声音频，并将所述噪声音频和所述样本梅尔频谱共同输入生成网络，得到输出梅尔频谱，所述噪声音频为无标签音频；将所述输出梅尔频谱输入判别网络，得到所述输出梅尔频谱的类型概率和所述输出梅尔频谱的标签；根据所述输出梅尔频谱的类型概率和所述输出梅尔频谱的标签对所述生成网络和所述判别网络进行交替迭代训练，并将训练完成的生成网络作为语音转换模型，完成模型训练。

第二方面，本申请提供了一种语音转换方法，所述方法包括：

获取用户的待转换音频数据和目标转换标签；将所述待转换音频数据和所述目标转换标签输入预先训练的语音转换模型，得到转换后的音频数据；其中，所述预先训练的语音转换模型为采用上述的语音转换模型的训练方法训练得到的生成网络。

第三方面，本申请还提供了一种语音转换模型的训练装置，所述装置包括：

样本获取模块，用于获取样本音频，将所述样本音频转换为样本梅尔频谱，所述样本音频包括无标签音频和有标签音频；噪声采集模块，用于采集噪声音频，并将所述噪声音频和所述样本梅尔频谱共同输入生成网络，得到输出梅尔频谱，所述噪声音频为无标签音频；判别输出模块，用于将所述输出梅尔频谱输入判别网络，得到所述输出梅尔频谱的类型概率和所述输出梅尔频谱的标签；模型训练模块，用于根据所述输出梅尔频谱的类型概率和所述输出梅尔频谱的标签对所述生成网络和所述判别网络进行交替迭代训练，并将训练完成的生成网络作为语音转换模型，完成模型训练。

第四方面，本申请还提供了一种语音转换装置，所述装置包括：

数据获取模块，用于获取用户的待转换音频数据和目标转换标签；音频转换模块，用于将所述待转换音频数据和所述目标转换标签输入预先训练的语音转换模型，得到转换后的音频数据；其中，所述预先训练的语音转换模型为采用上述的语音转换模型的训练方法训练得到的生成网络。

第五方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的语音转换模型的训练方法和语音转换方法。