[发明专利]一种语音情感识别方法、装置、电子设备及存储介质

权利要求书

1.一种语音情感识别方法，其特征在于，所述语音情感识别方法包括：

获取待识别的目标语音，并确定所述目标语音对应的目标文本；

将所述目标语音和所述目标文本一同输入训练好的语音情感计算模型中，得到所述目标语音对应的主情感、伴随情感以及情感强度；

其中，所述语音情感计算模型是利用多个样本语音，以及每个样本语音对应的样本主情感标签、样本伴随情感标签和样本情感强度标签进行训练得到的。

2.根据权利要求1所述的语音情感识别方法，其特征在于，针对任一所述样本语音，根据以下步骤生成所述样本语音对应的样本主情感标签、样本伴随情感标签和样本情感强度标签：

对所述样本语音进行识别，得到所述样本语音对应的样本文本和各个子语音句子的时间戳；

基于所述样本语音对应的样本文本、以及各个子语音句子对应的时间戳，生成可视化的初始标注信息文件；

基于所述样本语音、预先定义好的主情感集、伴随情感集以及预设标注规则，对所述初始标注信息文件进行标注，生成所述样本语音对应的样本主情感标签、样本伴随情感标签和样本情感强度标签。

3.根据权利要求2所述的语音情感识别方法，其特征在于，根据以下步骤确定所述样本语音对应的各个子语音句子的时间戳：

从所述样本语音中识别出至少一个静音片段，并确定每个静音片段对应的静音时长；

根据静音时长大于或等于预设时长的静音片段，对所述样本语音进行分段，得到所述样本语音对应的各个子语音句子以及每个子语音句子的时间戳。

4.根据权利要求2所述的语音情感识别方法，其特征在于，所述基于所述样本语音、预先定义好的主情感集、伴随情感集以及预设标注规则，对所述初始标注信息文件进行标注，生成所述样本语音对应的样本主情感标签、样本伴随情感标签和样本情感强度标签，包括：

获取基于所述样本语音、预先定义好的主情感集、伴随情感集以及预设标注规则，对所述初始标注信息文件进行标注得到的多个标注结果；

从所述多个标注结果中筛选出一致程度大于预设阈值的目标结果，并基于所述目标结果确定所述样本语音对应的样本主情感标签、样本伴随情感标签和样本情感强度标签。

5.根据权利要求1所述的语音情感识别方法，其特征在于，根据以下步骤生成所述语音情感计算模型：

获取所述多个样本语音，并将所述多个样本语音划分成第一样本组和第二样本组；

针对所述第二样本组中的任一第二语音，对所述第二语音对应的样本语音特征或样本文本特征进行掩码；

利用所述第一样本组、掩码后的所述第二样本组，以及每个样本语音对应的样本主情感标签、样本伴随情感标签和样本情感强度标签对初始多模态语音情感模型进行训练，生成所述语音情感计算模型。

6.根据权利要求5所述的语音情感识别方法，其特征在于，所述针对所述第二样本组中的任一第二语音，对所述第二语音对应的样本语音特征或样本文本特征进行掩码，包括：

以第一掩码概率对所述第二语音的样本语音特征进行掩码，以第二掩码概率对所述第二语音的样本文本特征进行掩码；

其中，所述第一掩码概率小于所述第二掩码概率。

7.根据权利要求1所述的语音情感识别方法，其特征在于，所述语音情感计算模型包括文本特征提取网络、第一注意力网络、语音特征提取网络、第二注意力网络、情感分类网络；所述将所述目标语音和所述目标文本一同输入训练好的语音情感计算模型中，得到所述目标语音对应的主情感、伴随情感以及情感强度，包括：

将所述目标文本输入所述文本特征提取网络得到文本时序特征，以及将所述目标语音输入所述语音特征提取网络得到语音时序特征；

基于所述文本时序特征和所述第一注意力网络得到文本情感特征，以及基于所述语音时序特征和所述第二注意力网络得到语音情感特征；

基于所述文本情感特征、所述语音情感特征以及所述情感分类网络，得到所述目标语音对应的主情感、伴随情感以及情感强度。