[发明专利]语音合成模型训练方法、语音合成方法、装置及电子设备

权利要求书

1.一种语音合成模型训练方法，其特征在于，包括：

获取第一训练语音样本、所述第一训练语音样本对应的文本、所述第一训练语音样本对应的说话人的标识；

确定所述第一训练语音样本对应的文本对应的第一文本向量，以及确定所述第一训练语音样本对应的说话人的标识对应的第一说话人向量；

基于所述第一文本向量与所述第一说话人向量确定第一拼接向量；

将所述第一拼接向量输入至预设的语音合成模型生成第一梅尔声谱图；

基于所述第一训练语音样本与生成的所述第一梅尔声谱图确定第一损失值，并基于确定的所述第一损失值判定所述预设的语音合成模型是否收敛；

如果所述预设的语音合成模型收敛，则得到训练成功的语音合成模型。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

如果所述预设的语音合成模型不收敛，则基于所述损失值进行梯度下降调整所述预设的语音合成模型的参数，得到调整后的语音合成模型；

获取第二训练语音样本、所述第二训练语音样本对应的文本、所述第二训练语音样本对应的说话人的标识；

确定所述第二训练语音样本对应的文本对应的第二文本向量，以及确定所述第二训练语音样本对应的说话人的标识对应的第二说话人向量；

基于所述第二文本向量与所述第二说话人向量确定第二拼接向量；

将所述第二拼接向量输入至调整后语音合成模型生成第二梅尔声谱图；

基于所述第二训练语音样本与生成的所述第二梅尔声谱图确定第二损失值，并基于确定的所述第二损失值判定所述调整后语音合成模型是否收敛；

如果所述调整后的语音合成模型收敛，则得到训练成功的语音合成模型。

3.根据权利要求1或2所述的方法，其特征在于，确定所述第一训练语音样本对应的第一文本向量，包括：

将所述第一训练语音样本对应的文本转换成带音调标识的拼音字符串；

基于预定的映射规则将拼音字符串转换为数字字符串；

基于所述数字字符串以及预训练的文本嵌入矩阵得到所述第一文本向量。

4.根据权利要求1或2所述的方法，其特征在于，所述确定所述第一训练语音样本对应的说话人的标识对应的第一说话人向量，包括：

基于所述第一训练语音样本对应的说话人的标识通过预训练的说话人嵌入矩阵确定所述第一说话人向量。

5.根据权利要求1-4任一项所述的方法，其特征在于，该方法还包括：

获取目标说话人的训练语音样本、所述目标说话人的训练语音样本对应的文本、目标说话人的标识；

确定所述目标说话人的训练语音样本对应的文本对应的第三文本向量，以及确定所述目标说话人的标识对应的目标说话人向量；

基于所述第三文本向量与所述目标说话人向量确定第三拼接向量；

将所述第三拼接向量输入至训练好的语音合成模型生成第三梅尔声谱图；

基于所述目标说话人的训练语音样本与生成的所述第三梅尔声谱图确定第三损失值，并基于确定的所述第三损失值确定是否需要对所述训练成功好的语音合成模型继续进行训练；

如果需要继续训练，则基于所述目标说话人的的至少一个其他训练语音样本及所述其他训练语音样本对应的文本、目标说话人的标识进行模型训练，直至训练成功得到更新后的语音合成模型。

6.一种语音合成方法，其特征在于，包括：

获取待合成语音文本、目标说话人标识；

确定所述待合成语音文本对应的第四文本向量，以及确定所述目标说话人标识对应的目标说话人向量；

基于所述第四文本向量与所述目标说话人向量确定第四拼接向量；

将所述第四拼接向量输入至训练成功的语音合成模型生成第四梅尔声谱图；

基于所述第四梅尔声谱图通过声码器生成目标合成语音。