[发明专利]一种语音转换模型的训练方法、装置、电子设备及介质

权利要求书

1.一种语音转换模型的训练方法，所述方法包括：

将语音的原始的声学特征分别输入至内容编码器和音色编码器，得到所述内容编码器输出的内容序列和所述音色编码器输出的音色向量；其中，所述语音为与进行训练的上一个语音相邻的语音；

将所述内容序列输入至内容监督网络，通过所述内容监督网络在所述内容序列中提取出文本信息；基于所述文本信息得到监督序列；

基于所述监督序列和所述内容序列计算所述内容编码器针对所述原始的声学特征的损失值；

根据所述内容编码器针对所述原始的声学特征的损失值对所述内容编码器中的模型参数进行调整；

将所述内容序列和所述音色向量分别输入至解码器，得到所述解码器输出的预测的声学特征；

通过预先构建的损失函数计算所述预测的声学特征和所述原始的声学特征的损失值，基于所述损失值对待训练的语音转换模型进行训练；

将第一用户针对第一语音的原始的声学特征和第二用户针对第二语音的原始的声学特征分别输入至训练好的语音转换模型，通过所述语音转换模型得到由所述第一语音和所述第二语音转换后的目标语音；其中，所述目标语音包括所述第一语音的内容信息和所述第二语音的音色信息。

2.根据权利要求1所述的方法，其中，所述将第一用户针对第一语音的原始的声学特征和第二用户针对第二语音的原始的声学特征分别输入至训练好的语音转换模型，通过所述语音转换模型得到由所述第一语音和所述第二语音转换后的目标语音，包括：

将所述第一用户针对所述第一语音的原始的声学特征输入至所述内容编码器，得到所述内容编码器输出的所述第一语音的内容序列；

将所述第二用户针对所述第二语音的原始的声学特征输入至训练好的音色编码器，得到所述音色编码器输出的所述第二语音的音色向量；

将所述第一语音的内容序列和所述第二语音的音色向量分别输入至训练好的解码器，通过所述解码器输出的预测的融合声学特征；

将所述预测的融合声学特征输入至训练好的声码器，得到所述声码器输出的所述目标语音。

3.一种语音转换模型的训练装置，所述装置包括：编码模块、监督模块、解码模块和训练模块；其中，

所述编码模块，用于将语音的原始的声学特征分别输入至内容编码器和音色编码器，得到所述内容编码器输出的内容序列和所述音色编码器输出的音色向量；其中，所述语音为与进行训练的上一个语音相邻的语音；

所述监督模块，用于将所述内容序列输入至内容监督网络，通过所述内容监督网络在所述内容序列中提取出文本信息；基于所述文本信息得到监督序列；用于基于所述监督序列和所述内容序列计算所述内容编码器针对所述原始的声学特征的损失值；根据所述内容编码器针对所述原始的声学特征的损失值对所述内容编码器中的模型参数进行调整；

所述解码模块，用于将所述内容序列和所述音色向量分别输入至解码器，得到所述解码器输出的预测的声学特征；

所述训练模块，用于通过预先构建的损失函数计算所述预测的声学特征和所述原始的声学特征的损失值，基于所述损失值对待训练的语音转换模型进行训练；

预测模块，用于将第一用户针对第一语音的原始的声学特征和第二用户针对第二语音的原始的声学特征分别输入至训练好的语音转换模型，通过所述语音转换模型得到由所述第一语音和所述第二语音转换后的目标语音；其中，所述目标语音包括所述第一语音的内容信息和所述第二语音的音色信息。

4.根据权利要求3所述的装置，所述预测模块，具体用于将所述第一用户针对所述第一语音的原始的声学特征输入至所述内容编码器，得到所述内容编码器输出的所述第一语音的内容序列；将所述第二用户针对所述第二语音的原始的声学特征输入至训练好的音色编码器，得到所述音色编码器输出的所述第二语音的音色向量；将所述第一语音的内容序列和所述第二语音的音色向量分别输入至训练好的解码器，通过所述解码器输出的预测的融合声学特征；将所述预测的融合声学特征输入至训练好的声码器，得到所述声码器输出的所述目标语音。