[发明专利]一种基于语音的情绪识别方法

权利要求书

1.一种基于语音的情绪识别方法，其特征在于，该方法包括以下步骤：

步骤1：对语音进行分帧处理，并对每一帧提取特征，得到每一帧的特征向量，表示第帧的特征向量；

步骤2：将步骤1得到的每一帧的特征向量输入到第一层深度学习时序模型中，通过第一层深度学习时序模型学习帧与帧之间的关联，并每隔帧输出帧级特征，得到个时刻的帧级特征，表示第一层深度学习时序模型第i时刻输出的帧级向量；

步骤3：将步骤2得到的t时刻语音的M个时刻的帧级特征与第二层深度学习时序模型的t-1时刻的隐含状态输入到第一注意力模型，得到t时刻第二层深度学习时序模型的输入，经过个时刻的学习，输出段级特征，表示第二层深度学习时序模型第t时刻输出的段级向量；

步骤4：将步骤3得到的段级特征输入到第二注意力模型形成最终发音级别的表征；

步骤5：将步骤4得到的发音级别的表征输入到softmax层，得到预测情绪的概率值，从而识别情绪。

2.根据权利要求1所述的一种基于语音的情绪识别方法，其特征在于，所述第一层深度学习时序模型和所述第二层深度学习时序模型为LSTM、RNN和GRU中的一种。

3.根据权利要求1所述的一种基于语音的情绪识别方法，其特征在于，步骤1中，每一帧的长度为25ms，帧移为10ms。

4.根据权利要求1所述的一种基于语音的情绪识别方法，其特征在于，步骤1中，每一帧提取36维特征，每一帧的特征向量由13维MFCC、过零率、能量、能量熵、频谱中心、频谱延展度、频谱熵、频谱通量、频谱滚降点、12维色度向量、色度向量标准差、信噪比和音高组成。

5.根据权利要求1所述的一种基于语音的情绪识别方法，其特征在于，步骤2中，= 3，得到个时刻的帧级特征。

6.根据权利要求1所述的一种基于语音的情绪识别方法，其特征在于，步骤3中，所述第一注意力模型工作机制如公式（1）、公式（2）和公式（3）所示：

（1）

（2）

（3）

其中，、、、为第一注意力模型的网络参数，为帧级特征，为LSTMt-1时刻的隐含状态，为t时刻LSTM的输入，为t时刻帧级特征与t时刻LSTM的输入的相关系数，为t时刻注意力系数，第二层深度学习时序模型为LSTM。

7.根据权利要求1所述的一种基于语音的情绪识别方法，其特征在于，步骤4中，所述第二注意力模型的相关系数由网络估计参数与作向量相乘得到。

8.根据权利要求1所述的一种基于语音的情绪识别方法，其特征在于，使用多个所述第一层深度学习时序模型和多个所述第一注意力模型提取语音中不同层次的特征。