[发明专利]一种基于多输出特征融合的BLSTM的语音情感识别方法

权利要求书

1.一种基于多输出特征融合的BLSTM的语音情感识别方法，其特征是：包括以下步骤：

S1.对语音情感数据库中的语音样本进行预处理；

所述语音情感数据库为EMODB库，含有中性、生气、害怕、高兴、悲伤、厌恶和无聊7种情感；

所述预处理包括分帧加窗端点检测；

S2.提取常用的传统特征以及改进的新特征，对提取的特征分别计算其平均值、中位值、标准差、最小值、最大值、方差、变化率、一阶差分的统计量；

所述常用的传统特征，包括基音频率、能量、过零率、频率微扰、梅尔频域倒谱系数、Hurst指数、线性预测系数、感觉加权线性预测8类；

所述改进的新特征，包括基频梅尔频域倒谱系数、能量梅尔频域倒谱系数、倒谱梅尔频域倒谱系数、Teager梅尔频域倒谱系数4类；

S3.对提取的特征进行BP算法特征优选，优选出最能体现情感信息的组合特征，对优选的组合特征提取70帧/段的段特征，帧长256、帧移128；同时为了获得更好的并行加速，将语音样本段数归一化到5段；语音样本长的截断，不够的用零填充；将111维70帧/段的段特征作为优选特征送入到多输出特征融合的BLSTM网络模型；

S4.将提取好的优选特征随机选择65%的样本作为训练集，送入到多输出特征融合的BLSTM网络模型中进行训练，用Adam算法作为网络的优化器，获得优化后的网络模型，即三层六个输出特征融合的BLSTM网络模型；

设一个情感语音提取到的帧特征为X = (x₁,x₂,... x_i ...,x_T) ，i = 1,2,...,T，将X中每一个向量依次输入到LSTM网络中，对于时刻t的输入x_t，经过LSTM神经网络得到h_t的计算过程包括如下步骤：

S4.1构建遗忘门Foget Gate

遗忘门计算哪些信息需要忘记，遗忘门的计算公式为：

公式中的中括号表示两个向量相连合并，是遗忘门的权重矩阵，为sigmoid函数，为遗忘门的偏置项，x_t为t时刻的输入，h_t-1为上一时刻的隐层状态；

S4.2构建输入门Input Gate

输入门计算哪些信息需要保存到隐层神经元状态单元中，输入门的计算公式为：

S4.3隐层细胞状态更新Cell State Update

当前时刻的单元状态由遗忘门输入和上一时刻状态的积加上输入门两部分的积，即：

S4.4构建输出门Output Gate

输出门计算需要输出的信息，输出门的计算公式为：

其中，和为LSTM网络输出门连接权值与偏置，i_t，c_t，o_t，f_t为输入门，细胞存储单元，输出门和遗忘门的激活输出向量；

S5. 将剩下的35%的样本作为测试集，利用S4优化得到的三层六个输出特征融合的BLSTM网络模型，对其进行情感分类，对EMODB语音情感数据库中全部的情感样本进行分类，完成语音的情感识别。