[发明专利]一种基于对抗语义擦除的语音情感识别方法

权利要求书

1.一种基于对抗语义擦除的语音情感识别方法，其特征在于，所述方法包括以下步骤：

(1)获取原始语音数据，并对原始语音数据进行预处理获得输入特征；

(2)利用包含第一特征提取器和第一识别器的语音识别模型对输入特征进行识别，获得识别语义，同时提取特征提取器输出的语义特征；

(3)利用包含第二特征提取器和第二识别器的语音情感识别模型的第二特征提取器对输入特征进行提取获得语音特征，从语音特征中擦除所述语义特征获得情感特征，利用第二识别器识别对输入的情感特征进行识别，输出语音情感类别；

所述语音识别模型和所述语音情感识别模型的网络结构相同，经过对抗训练确定网络参数，从所述语音识别模型中输入层起提取任意个网络层组成第一特征提取器，剩下网络层组成第一识别器；从所述语音情感识别模型中输入层起提取与第一特征提取器相同个数的网络层组成第二特征提取器，剩下网络层组成第二识别器。

2.如权利要求1所述的基于对抗语义擦除的语音情感识别方法，其特征在于，步骤(1)中，对原始语音数据依次进行分帧加窗、傅里叶变换和复数分解提取原始语音数据对应的时频谱中的实部谱，并对实部谱进行数据平滑，获得输入特征。

3.如权利要求2所述的基于对抗语义擦除的语音情感识别方法，其特征在于，步骤(1)中，采用以下平滑函数对实部谱进行数据平滑，

log 1p＝log(x+1)

其中，x表示输入的待平滑数据。

4.如权利要求1所述的基于对抗语义擦除的语音情感识别方法，其特征在于，步骤(3)中，采用特征相减、异或、卷积、特征融合中的至少一种方式从语音特征中擦除所述语义特征获得情感特征。

5.如权利要求4所述的基于对抗语义擦除的语音情感识别方法，其特征在于，所述特征融合包括主成成分分析、奇异值分解。

6.如权利要求1所述的基于对抗语义擦除的语音情感识别方法，其特征在于，所述语音识别模型和语音情感识别模型采用深度学习网络经对抗训练获得。

7.如权利要求1所述的基于对抗语义擦除的语音情感识别方法，其特征在于，所述语音识别模型和语音情感识别模型采用CNN和RNN相结合的网络，经对抗训练获得。

8.如权利要求1所述的基于对抗语义擦除的语音情感识别方法，其特征在于，所述语音识别模型和语音情感识别模型的训练过程为：

获得语音情感识别数据集，并对语音情感识别数据集中的语音数据进行预处理获得输入特征，该输入特征以及对应的识别语义和语音情感类别组成训练样本，构成语音情感训练集；

搭建网络结构相同的语音识别模型和所述语音情感识别模型；

获得语音识别数据集，对语音识别数据集中的语音数据，进行与语音情感识别相同的预处理，获得语音识别输入特征，并使用CTC损失函数和该语音识别输入特征，预训练语音识别模型；

使用语音情感训练集同时训练语音情感模型和微调预训练后的语音识别模型，训练步骤如下：

(1)使用语音情感训练集中的语音输入数据和识别语义，用CTC损失函数微调包含第一特征提取器和第一识别器在内的语音识别模型参数；

(2)提取第一特征提取器输出的语义特征；

(3)将语音情感训练集中的语音输入数据输入第二特征提取器，其输出除擦除步骤(2)中的语义特征后，输入第二识别器，利用交叉熵损失函数训练情感分类后，更新包含第二特征提取器和第二识别器在内的语音情感模型参数，并微调第一特征提取器参数；

(4)重复步骤以上步骤，直至模型训练稳定；

训练结束后，确定网络参数，从所述语音识别模型中输入层起提取任意个网络层组成第一特征提取器，剩下网络层组成第一识别器；从所述语音情感识别模型中输入层起提取与第一特征提取器相同个数的网络层组成第二特征提取器，剩下网络层组成第二识别器。