[发明专利]一种语音转换的方法、装置及电子设备

权利要求书

1.一种语音转换的方法，其特征在于，包括：

确定语音识别模型，确定目标用户的变声模型，并确定声码器模型；所述语音识别模型是基于文本标注不存在声调标注的音频数据训练得到的，所述变声模型是基于所述语音识别模型所提取出的音频数据的特征向量训练得到的，且所述语音识别模型所提取出的音频数据的特征向量不含有声调信息；

获取源用户的源音频数据，基于所述语音识别模型提取所述源音频数据的特征向量，所述源音频数据的特征向量不存在声调标注；

基于所述变声模型将所述源音频数据的特征向量转换为所述目标用户的声学特征；

将所述目标用户的声学特征输入至所述声码器模型，将所述目标用户的声学特征转换为所述目标用户的音频信号。

2.根据权利要求1所述的方法，其特征在于，所述确定语音识别模型包括：

获取样本音频数据，并去除所述样本音频数据的文本标注中的声调标注；

以所述样本音频数据作为输入、以相应的去除声调标注后的文本标注作为输出进行训练，生成语音识别模型。

3.根据权利要求2所述的方法，其特征在于，所述以所述样本音频数据作为输入、以相应的去除声调标注后的文本标注作为输出进行训练，包括：

提取所述样本音频数据的语音特征；

以所述样本音频数据的语音特征作为输入、以相应的去除声调标注后的文本标注作为输出进行训练。

4.根据权利要求1所述的方法，其特征在于，所述确定目标用户的变声模型包括：

获取样本用户的第一音频数据，并提取所述第一音频数据的声学特征；获取目标用户的第二音频数据，并提取所述第二音频数据的声学特征；

根据所述语音识别模型提取所述第一音频数据的特征向量，根据所述语音识别模型提取所述第二音频数据的特征向量，所述第一音频数据的特征向量和所述第二音频数据的特征向量均不存在声调标注；

以所述第一音频数据的特征向量作为输入、所述第一音频数据的声学特征作为输出进行训练，生成变声基线模型；

以所述第二音频数据的特征向量作为输入、所述第二音频数据的声学特征作为输出对所述变声基线模型进行微调，生成所述目标用户的变声模型。

5.根据权利要求4所述的方法，其特征在于，所述变声模型包括编码器、自注意力层、双层长短期记忆层和解码器，所述编码器和所述解码器均包含多个深度神经网络层；

所述编码器用于将音频数据的特征向量编码为第一隐层特征；所述第一隐层特征依次经过所述自注意力层、所述双层长短期记忆层后生成第二隐层特征；所述解码器用于将所述第二隐层特征转换为相应的声学特征。

6.根据权利要求1所述的方法，其特征在于，所述确定声码器模型，包括：

获取样本用户的第三音频数据，并提取所述第三音频数据的声学特征和音频信号；获取目标用户的第四音频数据，并提取所述第四音频数据的声学特征和音频信号；

以所述第三音频数据的声学特征作为输入、所述第三音频数据的音频信号作为输出进行训练，生成声码器基线模型；

以所述第四音频数据的声学特征作为输入、所述第四音频数据的音频信号作为输出对所述声码器基线模型进行微调，生成所述目标用户的声码器模型。

7.根据权利要求1-6任意一项所述的方法，其特征在于，所述特征向量为语音后验概率向量。