[发明专利]一种语音音色转换方法及相关设备

说明书

本申请提供一种语音音色转换方法及相关设备，包括将获取的原始音频和用户确认的目标音色输入预先建立的音色转换网络；基于预先建立的音色转换网络对原始音频进行音色转换，得到转换后的目标音频；其中，预先建立的音色转换网络包括基于第一数据集训练得到的语音内容识别模型和语音说话人识别模型，以及基于第二数据集训练得到的音色转换模型和声码器模型。在本方案中，利用语音内容识别模型、语音说话人识别模型、音色转换模型和声码器模型构建的音色转换网络对原始音频和目标音色进行处理，从而得到由目标音色和语音内容构成目标音频。通过上述方式进行音色转换，能够保证转换后的音频的质量，且能够提高转换后的音频的音色与目标音色的相似度。

技术领域

本申请涉及语音处理技术领域，尤其涉及一种语音音色转换方法及相关设备。

背景技术

语音音色转换技术是指将原始音频中的声音的音色转换为另外一个的说话人声音的音色。在音色转换过程中，需要保证转换语音音色之后的音频的音色与另外一个说话人声音的音色相似，而音频的内容保持不变。

目前，较为广泛使用的是基于非平行语料的训练数据结合生成对抗网络和变分自动编码器实现语音音色转换。但是，在实际应用中，利用对抗网络和变分自动编码器进行语音音色转换不稳定，导致转换后的音频存在音频质量不稳定、音色与目标音色的相似度不高的问题。

发明内容

有鉴于此，本申请实施例提供一种语音音色转换方法及相关设备，以解决现有技术转换后的音频存在音频质量不稳定、音色与目标音色的相似度不高的问题。

为实现上述目的，本申请实施例提供如下技术方案：

本申请第一方面示出了一种语音音色转换方法，所述方法包括：

将获取的原始音频和用户确认的目标音色输入预先建立的音色转换网络，所述原始音频至少包括原始音色和语音内容；

基于所述预先建立的音色转换网络对所述原始音频进行音色转换，得到转换后的目标音频，所述目标音频由所述目标音色和所述语音内容构成；

其中，所述预先建立的音色转换网络由语音内容识别模型、语音说话人识别模型、音色转换模型和声码器模型构建，所述语音内容识别模型和语音说话人识别模型基于第一数据集训练得到，所述音色转换模型和所述声码器模型基于第二数据集训练得到，所述第一数据集和所述第二数据集是指高质量的音频数据集；

所述音色转换模型由N个分离门卷积层、M个双向长短时记忆网络和1个全连接层构成，所述音色转换模型的构建过程包括：

将所述第二数据集输入所述语音内容识别模型得到音频对应的语音内容特征矩阵，将所述第二数据集输入所述语音说话人识别模型得到音频对应的语音信息特征矩阵；

基于N个分离门卷积层、M个双向长短时记忆网络和1个全连接层对所述语音内容特征矩阵和语音信息特征矩阵进行训练，得到音色转换模型，N和M为大于等于1的正整数。

可选的，所述基于N个分离门卷积层、M个双向长短时记忆网络和1个全连接层对所述语音内容特征矩阵和语音信息特征矩阵进行训练，得到音色转换模型，包括：

基于所述N个分离门卷积层、M个双向长短时记忆网络和1个全连接层构建初始音色转换模型；

将所述语音内容特征矩阵和语音信息特征矩阵输入所述初始语音转换模型中的分离门卷积层进行特征学习，得到第一特征矩阵；

利用所述双向长短时记忆网络对所述第一特征矩阵进行训练，得到的第二特征矩阵；

利用所述全连接层对所述第二特征矩阵进行非线性组合，输出预测的目标人音色的声学特征；

计算所述预测的目标人音色的声学特征与所述目标声学特征的绝对差值，若所述绝对差值在预设范围内，确定当前的初始音色转换模型为音色转换模型；