[发明专利]一种语音合成训练数据的生成方法及相关设备

权利要求书

1.一种语音合成训练数据的生成方法，其特征在于，所述方法包括：

获取原始训练数据，并确定所述原始训练数据的语音类型所对应的预先建立的音色转换网络，所述预先建立的音色转换网络至少包括语音内容识别模型、语音说话人识别模型、音色转换模型和声码器模型，其中，至少所述音色转换模型基于指定目标音色数据集进行训练调整得到；

将所述原始训练数据输入所述语音内容识别模型进行处理，输出内容特征矩阵，将指定目标音色输入所述语音说话人识别模型进行处理，输出说话人信息特征矩阵；

将所述内容特征矩阵和所述说话人信息特征矩阵输入所述音色转换模型进行音色转换，输出指定目标音色的声学特征；

将所述指定目标音色的声学特征输入所述声码器模型进行音频转换，输出转换成指定目标音色的音频数据，并将所述音频数据作为语音合成TTS训练数据，所述音频数据具有与所述原始训练数据相同的拼音标注和韵律标注。

2.根据权利要求1所述的方法，其特征在于，所述获取原始训练数据，并确定所述原始训练数据的语音类型所对应的预先建立的音色转换网络，包括：

获取原始训练数据，并确定所述原始训练数据的语音类型；

若所述原始训练数据的语音类型为中文，确定预先建立的用于生成中文语音合成TTS训练数据的中文音色转换网络；

若所述原始训练数据的语音类型为外文，确定预先建立的用于生成外文语音合成TTS训练数据的外文音色转换网络。

3.根据权利要求1或2所述的方法，其特征在于，所述预先建立的音色转换网络的建立过程包括：

获取预先建立的初始音色转换网络和目标音色数据集，所述预先建立的初始音色转换网络包括基于第一数据集训练得到的语音内容识别模型和语音说话人识别模型，以及基于第二数据集训练得到的初始音色转换模型和声码器模型；

将目标音色数据集输入所述语音内容识别模型得到目标音色数据集对应的目标语音内容特征矩阵；

将所述目标音色数据集输入所述语音说话人识别模型得到目标音色数据集对应的目标语音信息特征矩阵；

将所述目标语音内容特征矩阵和所述目标语音信息特征矩阵作为所述初始音色转换模型的输入，输出所述目标音色数据集的预测声学特征；

基于所述预测声学特征和所述目标音色数据集对应的真实声学特征的绝对差值对所述初始音色转换模型进行调整，直至所述绝对差值处于预设范围内，得到音色转换模型；

基于所述语音内容识别模型、所述语音说话人识别模型、所述音色转换模型和所述声码器模型构建音色转换网络。

4.根据权利要求3所述的方法，其特征在于，所述输出所述目标音色数据集的预测声学特征之后，还包括：

利用所述声码器模型将所述预测声学特征转换成预测目标音频；

利用所述声码器模型将所述目标音色数据集对应的真实声学特征转换成真实目标音频；

基于所述预测目标音频和所述真实目标音频的绝对差值对所述声码器模型进行调整，直至所述绝对差值处于预设范围内，得到调整后的声码器模型；

所述基于所述语音内容识别模型、语音说话人识别模型、所述音色转换模型和所述声码器模型构建音色转换网络，包括：

基于所述语音内容识别模型、所述语音说话人识别模型、所述音色转换模型和所述调整后的声码器模型构建音色转换网络。

5.根据权利要求1或2所述的方法，其特征在于，所述预先建立的音色转换网络的建立过程包括：

获取目标音色数据集、第一数据集和第二数据集；

将所述第一数据集和所述目标音色数据集进行集合得到第三数据集，将所述第二数据集和所述目标音色数据集进行集合得到第四数据集；

基于所述第三数据集训练得到语音内容识别模型和语音说话人识别模型；

基于所述第四数据集训练得到音色转换模型和声码器模型；

基于所述语音内容识别模型、所述语音说话人识别模型、所述音色转换模型和所述声码器模型构建音色转换网络。