[发明专利]一种基于语音的情绪识别方法

说明书

本发明公开了一种基于语音的情绪识别方法，包括对语音进行分帧处理，提取每一帧的特征向量；将每一帧的特征向量输入到深度学习时序模型中，输出帧级特征；将帧级特征与深度学习时序模型的前一时刻的隐含状态输入到注意力模型，经过学习输出段级特征；将段级特征输入到注意力模型形成最终发音级别的表征；最后输入到softmax层，得到预测情绪的概率值，从而识别情绪。本发明的有益效果为：通过使用分层式深度学习时序模型结构来提取语音中不同层次的特征，同时引入多个注意力机制来有效得选择关键特征，更有利于情绪的识别，且使用该方法不仅能提取帧级语音特征，还能提取段级语音特征，从而可有效提高情绪识别的准确性。

技术领域

本发明涉及情绪识别技术领域，具体而言，涉及一种基于语音的情绪识别方法。

背景技术

随着计算机与人工智能技术的发展，情绪识别在自然的人机交互中显得尤为重要。比如智能客服系统、聊天机器人等需要通过客户不同的情绪给出相应的反馈。其中人声包含了说话人的丰富信息，通过语音可以识别说话人的情绪。传统的语音情绪识别系统首先提取音频每帧的声学特征，比如短时能量、基频、MFCC(Mel频率倒谱系数,一种常用的语音频谱特征)等，然后将这些声学特征拼接起来，最后通过分类器来识别情绪。常用的分类器有SVM(支持向量机，一种有监督式分类器)、随机森林等。

近年来，深度学习方法被广泛应用到语音情绪识别领域，深度学习方法主要有：1)提取音频的梅尔频谱作为CNN(卷积神经网络,用于提取特征)的输入去进一步提取特征，通过LSTM(长短期记忆网络，适用于处理时间序列)来提取帧与帧之间的时间关联，其中引入了注意力机制以减少静音带来的影响；2)将音频转化成声谱，采用AlexNet(一种深层神经网络)里面的FCN(全卷积网络)结构去提取特征，同样引入注意力机制来提取对情绪有用的部分，减少与情绪无关的输入带来的影响；3)提取音频的32维声学特征，采用双向LSTM加注意力机制来识别情绪；4)提取音频的36维声学特征，采用一种改进的LSTM来更好的提取时间关联特征。

由于语音是时间序列，采用LSTM提取语音中的时间关联特征是一种很好的选择。在上所述的现有技术中，LSTM某一时刻的输入是音频对应帧的声学特征，学习的是帧与帧之间的关联，但是训练数据集是基于语段级标注情绪，即一条语音标记一种情绪。因此，除了学习语音中的帧级特征，还需要学习段级特征，即提取发音级别的特征来更好的识别情绪。

发明内容

为解决上述问题，本发明的目的在于提供一种利用深度学习时序模型的层次结构来识别语音情绪，该结构不仅能提取帧级语音特征，还能提取段级语音特征。

为实现上述目的，本发明提供了一种基于语音的情绪识别方法，该方法包括以下步骤：

步骤1：对语音进行分帧处理，并对每一帧提取特征，得到每一帧的特征向量，v_n表示第n帧的特征向量；

步骤2：将步骤1得到的每一帧的特征向量v_n输入到第一层深度学习时序模型中，通过第一层深度学习时序模型学习帧与帧之间的关联，并每隔k帧输出帧级特征y_i，得到M个时刻的帧级特征y_i，y_i表示第一层深度学习时序模型第i时刻输出的帧级向量；

步骤3：将步骤2得到的t时刻的帧级特征y_i与第二层深度学习时序模型的t-1时刻的隐含状态h_t-1输入到第一注意力模型，得到t时刻第二层深度学习时序模型的输入z_t，经过M个时刻的学习，输出段级特征s_t，s_t表示第二层深度学习时序模型第t时刻输出的段级向量；

步骤4：将步骤3得到的段级特征s_t输入到第二注意力模型形成最终发音级别的表征；

步骤5：将步骤4得到的发音级别的表征输入到softmax层，得到预测情绪的概率值，从而识别情绪。