[发明专利]语音合成模型的训练方法和语音合成方法

权利要求书

1.一种语音合成模型的训练方法，其特征在于，所述语音合成模型包括文本编码模块、文本解码模块以及第一预测编码模块；所述方法包括：

获取训练数据集；所述训练数据集包括发音对象的语音数据，以及与所述语音数据对应的文本数据；

通过所述文本编码模块，基于所述文本数据，得到音素编码序列；

通过所述第一预测编码模块，基于所述语音数据，得到第一音素隐含表示；

通过所述文本解码模块，基于所述音素编码序列、第一音素隐含表示、以及发音对象嵌入与情感嵌入，得到预测的语音合成数据；

基于所述语音数据与预测的语音合成数据更新所述语音合成模型。

2.根据权利要求1所述的方法，其特征在于，所述语音合成模型还包括基于发音对象的第一分类模块，以及连接所述第一分类模块与所述第一预测编码模块的梯度反转层；所述方法还包括：

将所述第一音素隐含表示输入所述第一分类模块，得到第一分类结果；

所述基于所述语音数据与预测的语音合成数据更新所述语音合成模型，包括：

基于所述语音数据与预测的语音合成数据计算第一损失函数；

基于所述第一分类结果与第一分类结果对应的先验分布的交叉熵损失计算第二损失函数；

通过所述梯度反转层对所述第二损失函数进行处理，获得处理后的第二损失函数；

基于所述第一损失函数与处理后的第二损失函数更新所述语音合成模型。

3.根据权利要求2所述的方法，其特征在于，所述语音合成模型还包括基于声调的第二分类模块；所述梯度反转层还连接所述第二分类模块与所述第一预测编码模块；所述方法还包括：

将所述第一音素隐含表示输入所述第二分类模块，得到第二分类结果；

所述基于所述第一分类结果的交叉熵损失计算第二损失函数，包括：

计算所述第一分类结果与第一分类结果对应的先验分布的第一交叉熵损失，所述第二分类结果与第二分类结果对应先验分布的第二交叉熵损失；

基于所述第一交叉熵损失与第二交叉熵损失的和，得到第二损失函数。

4.根据权利要求1所述的方法，其特征在于，所述第一预测编码模块由变分自编码器构成。

5.根据权利要求1所述的方法，其特征在于，所述通过所述第一预测编码模块基于所述语音数据，得到第一音素隐含表示，包括：

将基于所述语音数据提取的第一梅尔谱图，以及与所述第一梅尔谱图对应的发音对象嵌入、情感嵌入输入所述第一预测编码模块，得到第一音素隐含表示。

6.根据权利要求5所述的方法，其特征在于，所述语音合成模型还包括长度调节模块；所述通过所述文本解码模块基于所述音素编码序列、第一音素隐含表示、以及发音对象嵌入与情感嵌入，得到预测的语音合成数据，包括：

将所述第一音素隐含表示与所述音素编码序列进行拼接，将拼接后的音素编码序列输入所述长度调节模块，得到基于每个音素的持续时间进行扩展后的音素编码序列；

将所述扩展后的音素编码序列与所述第一梅尔谱图对应的发音对象嵌入以及情感嵌入进行拼接后，输入所述文本解码模块，得到预测的第二梅尔谱图。

7.根据权利要求6所述的方法，其特征在于，所述长度调节模块中包含时长预测单元，将拼接后的音素编码序列输入所述长度调节模块，得到基于每个音素的持续时间进行扩展后的音素编码序列，包括：

通过所述时长预测单元基于与所述第一梅尔谱图对应的发音对象嵌入与情感嵌入，确定所述音素编码序列中每个音素的预测持续时间；

基于所述第一梅尔谱图确定所述音素编码序列中每个音素的目标持续时间；

基于所述预测持续时间与目标持续时间更新所述时长预测单元。