[发明专利]语音交互方法、装置、电子设备和存储介质

权利要求书

1.一种语音交互方法，包括：

获取用户语音；

根据对用户语音识别得到的交互上文，从语料库中确定用于回复所述交互上文的交互下文；

获取所述交互下文对应的情感类型；

根据所述情感类型和设定音色，对所述交互下文进行语音合成，以得到回复语音；

采用所述回复语音进行语音交互。

2.根据权利要求1所述的语音交互方法，其中，所述根据所述情感类型，和设定音色，对所述交互下文进行语音合成，以得到回复语音，包括：

将所述情感类型对应语音的第一梅尔谱mel特征和所述设定音色对应语音的第二梅尔谱mel特征、以及所述交互下文输入经过训练的语音合成模型，以得到所述回复语音。

3.根据权利要求2所述的语音交互方法，其中，所述语音合成模型，包括：

风格编码器，用于输入所述第一mel特征以得到风格编码；

音色编码器，用于输入所述第二mel特征以得到音色编码；

文本编码器，用于输入所述交互下文以得到文本编码；

解码器，用于输入所述文本编码、所述风格编码和所述音色编码以得到目标mel特征；

声码器，用于输入所述目标mel特征以得到所述回复语音。

4.根据权利要求2所述的语音交互方法，其中，所述语音合成模型分别采用第一训练样本和第二训练样本训练得到；

其中，所述第一训练样本，用于对所述语音合成模型进行第一阶段训练；所述第一训练样本包括采用至少一种音色录制的多种情感类型的第一语音，以及所述第一语音对应的文本；

所述第二训练样本，用于对所述语音合成模型进行第二阶段训练；所述第二训练样本包括采用所述设定音色录制的第二语音，以及所述第二语音对应的文本和情感类型。

5.根据权利要求1-4任一项所述的方法，其中，所述获取所述交互下文对应的情感类型，包括：

查询所述交互下文对应的情感标签；其中，所述情感标签是采用情感分类模型对所述交互下文进行分类得到的；

根据所述情感标签，确定所述情感类型。

6.一种语音交互装置，包括：

第一获取模块，用于获取用户语音；

确定模块，用于根据对用户语音识别得到的交互上文，从语料库中确定用于回复所述交互上文的交互下文；

第二获取模块，用于获取所述交互下文对应的情感类型；

合成模块，用于根据所述情感类型和设定音色，对所述交互下文进行语音合成，以得到回复语音；

交互模块，用于采用所述回复语音进行语音交互。

7.根据权利要求6所述的语音交互装置，其中，所述合成模块，用于：

将所述情感类型对应语音的第一mel特征和所述设定音色对应语音的第二mel特征、以及所述交互下文输入经过训练的语音合成模型，以得到所述回复语音。

8.根据权利要求7所述的语音交互装置，其中，所述语音合成模型，包括：

风格编码器，用于输入所述第一mel特征以得到风格编码；

音色编码器，用于输入所述第二mel特征以得到音色编码；

文本编码器，用于输入所述交互下文以得到文本编码；

解码器，用于输入所述文本编码、所述风格编码和所述音色编码以得到目标mel特征；

声码器，用于输入所述目标mel特征以得到所述回复语音。

9.根据权利要求7所述的语音交互装置，其中，所述语音合成模型分别采用第一训练样本和第二训练样本训练得到；

其中，所述第一训练样本，用于对所述语音合成模型进行第一阶段训练；所述第一训练样本包括采用至少一种音色录制的多种情感类型的第一语音，以及所述第一语音对应的文本；

所述第二训练样本，用于对所述语音合成模型进行第二阶段训练；所述第二训练样本包括采用所述设定音色录制的第二语音，以及所述第二语音对应的文本和情感类型。