[发明专利]一种语音转换模型的训练方法、装置、电子设备及介质

权利要求书

1.一种语音转换模型的训练方法，所述方法包括：

将原始的声学特征划分为N个声学特征单元；其中，N为大于1的自然数；将所述N个声学特征单元中的一个或者多个声学特征进行掩蔽，得到掩蔽后的声学特征单元；将所述掩蔽后的声学特征单元输入至神经网络模型，得到所述神经网络模型输出的特征序列；将所述神经网络模型输出的特征序列作为预训练模型输出的隐特征；

将所述隐特征输入至语音转换模型，得到所述语音转换模型输出的预测的声学特征；

基于所述原始的声学特征和所述预测的声学特征对待训练的语音转换模型进行训练。

2.根据权利要求1所述的方法，其中，所述基于所述原始的声学特征和所述预测的声学特征对待训练的语音转换模型进行训练，包括：

基于所述原始的声学特征和所述预测的声学特征计算所述待训练的语音转换模型针对所述语音的损失值；

根据所述待训练的语音转换模型针对所述语音的损失值对所述待训练的语音转换模型中的模型参数进行调整。

3.根据权利要求1所述的方法，所述方法还包括：

将第一用户针对第一语音的原始的声学特征和第二用户针对第二语音的原始的声学特征分别输入至训练好的语音转换模型，通过所述语音转换模型得到由所述第一语音和所述第二语音转换后的目标语音；其中，所述目标语音包括所述第一语音的内容信息和所述第二语音的音色信息。

4.根据权利要求3所述的方法，其中，所述将第一用户针对第一语音的原始的声学特征和第二用户针对第二语音的原始的声学特征分别输入至训练好的语音转换模型，通过所述语音转换模型得到由所述第一语音和所述第二语音转换后的目标语音，包括：

将所述第一用户针对所述第一语音的原始的声学特征输入至训练好的预训练模型，得到所述预训练模型输出的隐特征；

将所述预训练模型输出的隐特征和所述第二用户针对所述第二语音的原始的声学特征分别输入至训练好的语音转换模型，得到所述语音转换模型输出的预测的声学特征；

将所述语音转换模型输出的预测的声学特征输入至声码器，得到所述声码器输出的所述目标语音。

5.一种语音转换模型的训练装置，所述装置包括：预训练模块、语音转换模块和训练模块；其中，

所述预训练模块，用于将原始的声学特征划分为N个声学特征单元；其中，N为大于1的自然数；将所述N个声学特征单元中的一个或者多个声学特征进行掩蔽，得到掩蔽后的声学特征单元；将所述掩蔽后的声学特征单元输入至神经网络模型，得到所述神经网络模型输出的特征序列；将所述神经网络模型输出的特征序列作为预训练模型输出的隐特征；

所述语音转换模块，用于将所述隐特征输入至语音转换模型，得到所述语音转换模型输出的预测的声学特征；

所述训练模块，用于基于所述原始的声学特征和所述预测的声学特征对待训练的语音转换模型进行训练。

6.根据权利要求5所述的装置，所述训练模块，具体用于基于所述原始的声学特征和所述预测的声学特征计算所述待训练的语音转换模型针对所述语音的损失值；根据所述待训练的语音转换模型针对所述语音的损失值对所述待训练的语音转换模型中的模型参数进行调整。

7.根据权利要求5所述的装置，所述装置还包括：预测模块，用于将第一用户针对第一语音的原始的声学特征和第二用户针对第二语音的原始的声学特征分别输入至训练好的语音转换模型，通过所述语音转换模型得到由所述第一语音和所述第二语音转换后的目标语音；其中，所述目标语音包括所述第一语音的内容信息和所述第二语音的音色信息。

8.根据权利要求7所述的装置，所述预测模块，具体用于将所述第一用户针对所述第一语音的原始的声学特征输入至训练好的预训练模型，得到所述预训练模型输出的隐特征；将所述预训练模型输出的隐特征和所述第二用户针对所述第二语音的原始的声学特征分别输入至训练好的语音转换模型，得到所述语音转换模型输出的预测的声学特征；将所述语音转换模型输出的预测的声学特征输入至声码器，得到所述声码器输出的所述目标语音。