[发明专利]模型处理方法及装置、情感语音合成方法及装置

权利要求书

1.一种语音数据的处理方法，包括：

获取目标发声对象的多条第一情感语音数据，所述多条第一情感语音数据对应多条台词语句,所述多条台词语句对应至少一个情感标记，其中，第一情感语音数据通过对所述目标发声对象读出相应的台词语句时发出的声音进行录制而得到；

对至少一条第一情感语音数据的目标声音要素进行调整，得到第二情感语音数据；

将所述多条第一情感语音数据和所述第二情感语音数据，合并成所述目标发声对象的情感语音数据集。

2.根据权利要求1所述的方法，其中，所述目标声音要素包括语速和/或语调。

3.根据权利要求1所述的方法，其中，所述台词语句包括以下任一种作品中的台词：文字作品、戏剧作品、影视剧作品。

4.根据权利要求1所述的方法，其中，所述至少一个情感标记包括以下至少一项：中性、积极情感、消极情感。

5.根据权利要求4所述的方法，其中，

所述积极情感包括以下至少一项：兴奋、舒缓、高兴、崇拜；

所述消极情感包括以下至少一项：悲伤、愤怒、厌恶、害怕。

6.根据权利要求1-5之一所述的方法，其中，在所述获取目标发声对象的多条第一情感语音数据之前，所述方法还包括：

获取至少一个文本；

对于所述至少一个情感标记中的情感标记，从所述至少一个文本中，提取出多条具有该情感标记所指示的情感的台词语句；

将提取出的台词语句提供给所述目标发声对象，以使所述目标发声对象读出所述提取出的台词语句，从而获得所述多条第一情感语音数据。

7.一种模型处理方法，包括：

获取目标发声对象的目标身份信息和情感语音数据集，以及所述情感语音数据集中的情感语音数据样本对应的台词语句和情感标记；

将所述目标身份信息、所述台词语句和情感标记作为输入，将所述情感语音数据样本作为训练标签，对待训练的语音合成模型进行训练，得到情感语音合成模型。

8.根据权利要求7所述的方法，其中，所述待训练的语音合成模型通过以下方式进行预训练：

将至少一个样本发声对象的样本身份信息和文本信息作为输入，将所述样本发声对象读出所述文本信息的语音数据作为训练标签，对初始语音合成模型进行训练，其中，所述样本发声对象不同于所述目标发声对象。

9.根据权利要求7所述的方法，其中，所述待训练的语音合成模型包括声谱预测网络和声码器，所述待训练的语音合成模型的第一处理过程包括：

利用所述声谱预测网络，根据输入的目标身份信息、台词语句和情感标记，预测声谱图；

利用所述声码器，根据所述声谱预测网络预测出的声谱图，生成时域波形。

10.根据权利要求9所述的方法，其中，所述对待训练的语音合成模型进行训练，包括：

基于所述时域波形和所述情感语音数据样本，确定预测损失，以预测损失减小为目标，调整所述声谱预测网络中的网络参数。

11.根据权利要求9所述的方法，其中，所述声谱预测网络关联至少一个情感标记分别对应的情感强度系数，所述情感强度系数用于情感强度调整；以及

在所述情感语音合成模型的应用阶段，所述情感语音合成模型的第二处理过程包括：

利用所述声谱预测网络，根据输入的情感标记所对应的情感强度系数，进行情感强度调整。

12.根据权利要求9所述的方法，其中，所述声谱预测网络包括编码器和解码器；以及

所述利用所述声谱预测网络，根据输入的目标身份信息、台词语句和情感标记，预测声谱图，包括：

利用所述编码器，将输入的目标身份信息、台词语句和情感标记，分别转换成向量，并对转换所得的向量进行拼接,得到拼接向量；

利用所述解码器，根据所述拼接向量，预测声谱图。