[发明专利]一种语音转换模型的训练方法、装置、电子设备及介质

说明书

本公开提供了一种语音转换模型的训练方法、装置、电子设备及介质，涉及人工智能技术领域，尤其涉及语音和深度学习技术。具体实现方案为：将语音的原始的声学特征分别输入至内容编码器和音色编码器，得到内容编码器输出的内容序列和音色编码器输出的音色向量；将内容序列输入至内容监督网络，得到内容监督网络输出的监督序列；基于监督序列和内容序列对内容编码器进行训练；将内容序列和音色向量分别输入至解码器，得到解码器输出的预测的声学特征；基于预测的声学特征和原始的声学特征对待训练的语音转换模型进行训练。本申请实施例可以通过内容监督网络专门针对内容编码器进行训练，使得语音转换模型可以更加准确地实现语音转换。

技术领域

本公开涉及人工智能技术领域，进一步涉及语音和深度学习技术，尤其是一种语音转换模型的训练方法、装置、电子设备及介质。

背景技术

语音转换在市场上变得越来越受关注，语音转换的目的是将源说话人的语音转为目标说话人的音色，并保持语音的表达内容不变。按照模型所需的语料，语音转换可分为平行语料语音转换和非平行语料语音转换；其中，平行语料语音转换，在录制所需的语料时，需要源说话人和目标说话人录制相同文本的音频。非平行语料语音转换，需要录制目标说话人的若干语音，训练时不需要源说话人的语音，通常的方法有基于音素概率图的方法和自重构的方法。

现有的自重构多对多语音转换系统主要包括：内容编码器、音色编码器和解码器；在对该自重构多对多语音转换系统进行训练时，先将原始的声学特征输入至音色编码器，得到整个语句的音色向量，该音色向量代表着说话人的音色信息；接着将原始的声学特征输入至内容编码器，内容编码器中有能够对内容信息进行编码的模块(例如下采样模块、矢量量化编码器等)，得到整个语句的内容序列，该内容序列代表着说话人的内容信息；然后将音色向量和内容序列输入至解码器，得到预测的声学特征；最后基于该预测的声学特征和原始的声学特征对该自重构多对多语音转换系统进行训练。

采用上述方式对传统的自重构多对多语音转换系统进行训练，目的是通过编码器能够去除说话人信息，在解码器的输入再加上音色信息从而完成信息的解耦。但内容编码器在对说话人的内容进行编码时，可能会去除掉部分内容信息，导致转换后的内容出现较多的错误。

发明内容

本公开提供了一种语音转换模型的训练方法方法、装置、电子设备以及介质。

第一方面，本申请提供了一种语音转换模型的训练方法，所述方法包括：

将语音的原始的声学特征分别输入至内容编码器和音色编码器，得到所述内容编码器输出的内容序列和所述音色编码器输出的音色向量；

将所述内容序列输入至内容监督网络，得到所述内容监督网络输出的监督序列；基于所述监督序列和所述内容序列对所述内容编码器进行训练；

将所述内容序列和所述音色向量分别输入至解码器，得到所述解码器输出的预测的声学特征；

基于所述预测的声学特征和所述原始的声学特征对待训练的语音转换模型进行训练。

第二方面，本申请提供了一种语音转换模型的训练装置，所述装置包括：编码模块、监督模块、解码模块和训练模块；其中，

所述编码模块，用于将语音的原始的声学特征分别输入至内容编码器和音色编码器，得到所述内容编码器输出的内容序列和所述音色编码器输出的音色向量；

所述监督模块，用于将所述内容序列输入至内容监督网络，得到所述内容监督网络输出的监督序列；基于所述监督序列和所述内容序列对所述内容编码器进行训练；

所述解码模块，用于将所述内容序列和所述音色向量分别输入至解码器，得到所述解码器输出的预测的声学特征；

所述训练模块，用于基于所述预测的声学特征和所述原始的声学特征对待训练的语音转换模型进行训练。