[发明专利]一种基于对抗学习的端到端的跨语言语音情感识别方法

权利要求书

1.一种基于对抗学习的端到端的跨语言语音情感识别方法，其特征在于，包括如下步骤：

S1：构建包括特征提取器、情感分类器和语言分类器的情感识别模型；

S2：接收原始数据对所述情感识别模型进行训练并在训练过程中使用梯度翻转层；所述原始数据是源语言和目标语言的语谱图或原始语音波形；所述源语言有情感标签，所述目标语言没有情感标签；

所述特征提取器接受所述原始数据作为输入，输出高层次的抽象特征用于分类；

所述情感分类器接受所述特征提取器所提取的高层次的抽象特征作为输入，输出情感标签；

所述语言分类器接受所述特征提取器所提取的高层次的抽象特征作为输入，判断该特征对应于源语言语音还是目标语言语音；

S3：利用训练好的所述情感识别模型预测源语言语音或目标语言语音的情感。

2.如权利要求1所述的基于对抗学习的端到端的跨语言语音情感识别方法，其特征在于，所述训练过程包括如下步骤：

S21：所述特征提取器接收源语言语音和目标语言语音的所述原始数据作为输入并提取特征用于所述情感分类器和所述语言分类器；

S22：筛选出对应所述源语言语音的特征作为所述情感分类器的输入得到情感标签，所述源语言语音和所述目标语言语音的特征经过一个梯度翻转层进入所述语言分类器得到语言标签。

3.如权利要求2所述的基于对抗学习的端到端的跨语言语音情感识别方法，其特征在于，所述源语言语音的数据有情感标签和语言标签；所述目标语言语音的数据仅有语言标签，或有语言标签和情感标签。

4.如权利要求3所述的基于对抗学习的端到端的跨语言语音情感识别方法，其特征在于，定义损失函数L_e和L_l，其中L_e根据所述情感分类器的输出与所述情感标签的差异而计算；L_l根据所述语言分类器和所述语言标签的差异而计算，则所述情感识别模型的总的损失函数L＝L_e+λL_l，其中λ为权衡两个损失函数的权重系数。

5.如权利要求4所述的基于对抗学习的端到端的跨语言语音情感识别方法，其特征在于，所述情感分类器的参数θ_e按照公式更新，其中μ0为学习率；

所述语言分类器的参数θ_l按照公式更新；

所述特征提取器的参数θ_f按照公式更新。

6.如权利要求5所述的基于对抗学习的端到端的跨语言语音情感识别方法，其特征在于，训练过程中使用验证集，所述验证集上的损失函数L_e和L_l不再降低时训练结束。

7.如权利要求1所述的基于对抗学习的端到端的跨语言语音情感识别方法，其特征在于，步骤S3包括如下步骤：

S31：将所述源语言语音或所述目标语言语音的原始数据输入到所述特征提取器进行特征提取；

S32：将提取的所述特征输入到情感分类器得到所述源语言语音或所述目标语言语音的情感标签。

8.如权利要求1-7任一所述的基于对抗学习的端到端的跨语言语音情感识别方法，其特征在于，所述原始数据是语音波形或语谱图。

9.如权利要求1-7任一所述的基于对抗学习的端到端的跨语言语音情感识别方法，其特征在于，所述特征提取器、所述情感分类器和所述语言分类器是CNN网络、RNN网络、DNN网络或全连接网络。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一所述方法的步骤。