[发明专利]情感语音的合成方法、装置、设备及存储介质

权利要求书

1.一种情感语音的合成方法，其特征在于，所述情感语音的合成方法包括：

获取待识别语音数据和对应的文本数据；

将所述待识别语音数据输入预先训练好的情感识别网络中，生成梅尔谱特征和位置编码，并结合所述梅尔谱特征和所述位置编码在所述情感识别网络中进行处理，生成情感嵌入特征；

将所述情感嵌入特征和所述文本数据输入预先训练好的语音合成网络中，生成目标梅尔谱数据；

采用神经声码器对所述目标梅尔谱数据进行语音转换，生成目标情感语音。

2.根据权利要求1所述的情感语音的合成方法，其特征在于，所述将所述待识别语音数据输入预先训练好的情感识别网络中，生成梅尔谱特征和位置编码，并结合所述梅尔谱特征和所述位置编码在所述情感识别网络中进行处理，生成情感嵌入特征包括：

将所述待识别语音数据输入预先训练好的情感识别网络中，生成梅尔谱特征；

根据所述梅尔谱特征和预置的位置转换公式，生成位置编码；

将所述梅尔谱特征和所述位置编码输入所述情感识别网络的编码器中进行编码，生成情感嵌入特征。

3.根据权利要求2所述的情感语音的合成方法，其特征在于，所述将所述待识别语音数据输入预先训练好的情感识别网络中，生成梅尔谱特征包括：

对所述待识别语音数据进行加窗处理，生成加窗后的语音数据；

对所述加窗后的语音数据进行短时傅里叶变换，生成傅里叶变换后的语音数据；

采用梅尔滤波器组对所述傅里叶变换后的语音数据进行处理，生成梅尔谱特征。

4.根据权利要求2所述的情感语音的合成方法，其特征在于，所述根据所述梅尔谱特征和预置的位置转换公式，生成位置编码包括：

读取梅尔谱特征的长度，并读取梅尔谱特征的位置；

基于所述梅尔谱特征的长度和所述梅尔谱特征的位置，生成位置输入值；

将所述位置输入向量输入预置的位置转换公式，生成位置编码。

5.根据权利要求2所述的情感语音的合成方法，其特征在于，所述将所述梅尔谱特征和所述位置编码输入所述情感识别网络的编码器中进行编码，生成情感嵌入特征包括：

将所述梅尔谱特征和所述的位置编码输入所述情感识别网络的多头自注意力层中，结合残差连接，生成初始情感特征向量；

将所述初始情感特征向量输入所述情感识别网络的前向传播层中进行卷积，生成情感嵌入特征。

6.根据权利要求1所述的情感语音的合成方法，其特征在于，所述将所述情感嵌入特征和所述文本数据输入预先训练好的语音合成网络中，生成目标梅尔谱数据包括：

在预先训练好的语音合成网络中，将所述文本数据转换为文本嵌入特征；

按照时刻顺序，将所述文本嵌入特征和所述情感嵌入特征进行拼接，生成目标梅尔谱数据。

7.根据权利要求1-6中任意一项所述的情感语音的合成方法，其特征在于，在所述获取待识别语音数据和对应的文本数据之前，所述情感语音的合成方法包括：

获取情感语音训练数据、情感标签数据和文本训练数据；

采用所述情感语音训练数据和所述情感标签数据，结合层正则化机制进行模型训练，生成预先训练好的情感识别网络，并采用所述情感语音训练数据和所述文本训练数据进行模型训练，生成预先训练好的语音合成网络。

8.一种情感语音的合成装置，其特征在于，所述情感语音的合成装置包括：

获取模块，用于获取待识别语音数据和对应的文本数据；

嵌入特征生成模块，用于将所述待识别语音数据输入预先训练好的情感识别网络中，生成梅尔谱特征和位置编码，并结合所述梅尔谱特征和所述位置编码在所述情感识别网络中进行处理，生成情感嵌入特征；

梅尔谱数据生成模块，用于将所述情感嵌入特征和所述文本数据输入预先训练好的语音合成网络中，生成目标梅尔谱数据；

语音转换模块，用于采用神经声码器对所述目标梅尔谱数据进行语音转换，生成目标情感语音。