[发明专利]语音转换及相关模型的训练方法、电子设备和存储装置

说明书

本申请公开了一种语音转换及相关模型的训练方法、电子设备和存储装置，其中，语音转换模型的训练方法包括：获取目标对象的第一样本语音以及预训练的语音转换模型；语音转换模型是利用样本对象的第二样本语音及其经音色转换后的第三样本语音预训练得到的；利用音素识别网络识别第一样本语音的第一音素信息，并提取第一样本语音的第一实际声学信息；利用声学预测网络对第一音素信息和第一实际声学信息进行预测，得到第一预测声学信息，并基于第一实际声学信息和第一预测声学信息之间的差异，调整声学预测网络的网络参数；将音素识别网络和调整后的声学预测网络的组合，作为与目标对象匹配的语音转换模型。上述方案，能够提高语音转换的质量。

技术领域

本申请涉及语音合成技术领域，特别是涉及一种语音转换及相关模型的训练方法、电子设备和存储装置。

背景技术

语音转换是语音合成领域中的一个重要分支，其目的在于将源对象的语音进行转换，使得转换后的语音具有源对象的说话内容，同时具有目标对象的说话音色。故此，如何提高语音转换的质量成为极具研究价值的课题。

发明内容

本申请主要解决的技术问题文本是提供一种语音转换及相关模型的训练方法、电子设备和存储装置，能够提高语音转换的质量。

为了解决上述问题文本，本申请第一方面提供了一种语音转换模型的训练方法，包括：获取目标对象的第一样本语音，并获取预训练的语音转换模型；其中，语音转换模型包括音素识别网络和声学预测网络，语音转换模型是利用若干样本对象的第二样本语音和第三样本语音预训练得到的，第三样本语音是对第二样本语音进行音色转换得到的；利用音素识别网络识别第一样本语音的第一音素信息，并提取第一样本语音的第一实际声学信息；利用声学预测网络对第一音素信息和第一实际声学信息进行预测，得到第一预测声学信息，并基于第一实际声学信息和第一预测声学信息之间的差异，调整声学预测网络的网络参数；将音素识别网络和调整后的声学预测网络的组合，作为与目标对象匹配的语音转换模型。

为了解决上述问题文本，本申请第二方面提供了一种语音转换方法，包括：获取源对象的待转换语音，并获取与目标对象匹配的语音转换模型；其中，语音转换模型是利用第一方面中的语音转换模型的训练方法得到的；利用语音转换模型的音素识别网络识别待转换语音的音素信息，并提取待转换语音的实际声学信息；利用语音转换模型的声学预测网络对音素信息和实际声学信息进行预测，得到预测声学信息；利用预测声学信息，合成得到音色与目标对象相同的合成语音。

为了解决上述问题文本，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的语音转换模型的训练方法，或实现上述第二方面中的语音转换方法。

为了解决上述问题文本，本申请第四方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的语音转换模型的训练方法，或实现上述第二方面中的语音转换方法。

上述方案，获取目标对象的第一样本语音，并获取预训练的语音转换模型，且语音转换模型包括音素识别网络和声学预测网络，从而利用音素识别网络识别第一样本语音的第一音素信息，并提取第一样本语音的第一实际声学信息，由于语音转换模型是利用若干样本对象的第二样本语音和第三样本语音预训练得到的，而第三样本语音是对第二样本语音进行音色转换得到的，故有利于使预训练的语音转换模型能够对于不同音色的语音均能够准确地提取出音素信息，进而能够有利于提高第一音素信息的准确性，在此基础上，再利用声学预测网络对第一音素信息和第一实际声学信息进行预测，得到第一预测声学信息，并基于第一实际声学信息和第一预测声学信息之间的差异，调整声学预测网络的网络参数，能够进一步基于准确的第一音素信息通过约束第一实际声学信息和预测得到的第一预测声学信息来使声学预测网络学习目标对象的声学特征，进而将音素识别网络和调整后的声学预测网络的组合，作为与目标对象匹配的语音转换模型，故能够提高语音转换模型的准确性，有利于提高语音转换的质量。

附图说明