[发明专利]一种增强愤怒与开心识别的语音情感识别方法及系统

权利要求书

1.一种增强愤怒与开心识别的语音情感识别方法，所述情感包括愤怒、开心、悲伤和平静，其特征在于，所述方法包括：

(1)接收用户语音信号，提取语音的声学特征矢量，具体包括：

(1.1)将音频分割为帧，对每个语音句子提取帧级的低层次声学特征；

(1.2)应用全局统计函数，将每个语音句子中的每一组时长不等的基础声学特征转化为等长的静态特征，得到N维度的声学特征矢量；

(1.3)结合注意力机制，对N维度的声学特征矢量进行加权，对加权后的声学特征矢量进行排序，选择前M维度的声学特征矢量，得到语音的声学特征矢量；

其中，将音频分割为帧具体包括：

(A)利用预加重数字滤波器对音频进行预加重，使语音高频部分得以提升；

(B)对预加重后的音频数据进行加窗分帧处理，所述分帧采用交叠分段的方法，前一帧与后一帧的交叠部分称为帧移，帧移与帧长的比值取1/2，分帧是用可移动的有限长度窗口进行加权和利用窗函数ω(n)在原始语音信号s(n)之上叠加来实现，公式如下：

s_ω(n)＝s(n)*ω(n)

其中，s_ω(n)就是加窗分帧处理后的语音信号，并且窗函数使用汉明窗函数，表达式如下：

其中，N为帧长；

(C)去除静音段和噪声段，其中利用短时能量和短时过零率进行两级判决，来获得端点检测结果，具体包括：

计算短时能量：

其中，s_i(n)为每一帧的信号，i表示帧数，N为帧长；

计算短时过零率：

其中，

(D)计算语音和噪声的平均能量，设置一高一低两个能量门限T₁和T₂，高门限确定语音开端，低门限判断语音结束点；

(E)计算背景噪声的平均过零率，设置过零率门限T₃，用于判断语音前端的清音位置和后端的尾音位置，从而完成辅助判决；

(2)将语音信号转换为文本信息，获取语音的文本特征矢量，具体包括：

(2.1)利用文本数据集对不同种情感分别进行词频与逆词频统计；

(2.2)根据统计结果，每种情感选取前N个词，合并去除重复词后形成去除重复词，合并成基本词汇表；

(2.3)判断语音文本中的每个词在每个样本词汇表中是否出现，出现为1，不出现为0，得到语音文本特征矢量；

(3)将声学特征矢量和文本特征矢量输入语音情感识别模型和文本情感识别模型中，分别得到不同情感的概率值，其中语音情感识别模型和文本情感识别模型使用如下卷积神经网络结构分别对声学特征矢量和语音文本特征矢量进行训练而得到：

(a)分类器结构为两个卷积层加上一个全连接层,第一层使用32个卷积核，第二层卷积层采用64个卷积核，两层都采用一维的卷积层，卷积核的窗长度为10，卷积步长为1，补零策略采用same，保留边界处的卷积结果；

(b)第一、第二层的激活函数采用relu函数，训练时设置变量dropoutrate为0.2；

(c)池化层采用最大值池化方式，池化窗口大小设为2，下采样因子设为2，补零策略采用上下左右补0的方法，保留边界处的卷积结果；

(d)最后的全连接层选用softmax激活函数对所有的dropout层的输出进行回归得到各种情感类型的输出概率；

(4)对步骤(3)得到的愤怒和开心的情感概率值进行降低和增强，得到最终的情感判断识别结果，具体包括：

(4.1)通过语音情感识别模型对语音信号进行处理，得到愤怒的概率SH、开心的概率SA、悲伤的概率SS和平静的概率SM；

(4.2)通过文本情感识别模型对语音信号进行处理，得到愤怒的概率TH、开心的概率TA、悲伤的概率TS和平静的概率TM；

(4.3)降低步骤(4.1)愤怒的概率SH、开心的概率SA的权重，增强步骤(4.2)中愤怒的概率TH、开心的概率TA的权重：

SH′＝SH*90％ (1)

SA′＝SA*90％ (2)

TH′＝TH*110％ (3)

TA′＝TA*110％ (4)

(4.4)最终得到情感识别结果：

Ci＝MAX{SH′+TH′,SA′+TA′,SS+TS,SM+TM}

其中，SH′+TH′,SA′+TA′,SS+TS,SM+TM分别表示加权后愤怒、开心、悲伤、平静的概率值，Max{}表示取最大值。

2.一种用于实现如权利要求1所述的增强愤怒与开心识别的语音情感识别方法的系统，其特征在于，包括如下模块：

声学特征矢量模块，用于接收用户语音信号，提取语音的声学特征矢量；

文本特征矢量模块，用于将语音信号转换为文本信息，获取语音的文本特征矢量；

情感概率计算模块，将声学特征矢量和文本特征矢量分别输入到语音情情感识别模型和文本情感识别模型中，分别得到不同情感的概率值；

情感判断识别模块，对情感概率计算模块计算得到的愤怒和开心的情感概率值进行降低和增强，得到最终的情感判断识别结果；

其中，所述声学特征矢量模块功能如下：

(1.1)将音频分割为帧，对每个语音句子提取帧级的低层次声学特征；

(1.2)应用全局统计函数，将每个语音句子中的每一组时长不等的基础声学特征转化为等长的静态特征，得到多维度的声学特征矢量；

(1.3)结合注意力机制，对N维度的声学特征矢量进行加权，对加权后的声学特征矢量进行排序，选择前M维度的声学特征矢量，得到语音的声学特征矢量；

所述文本特征矢量模块功能如下：

(2.1)利用文本数据集对不同种情感分别进行词频与逆词频统计；

(2.2)根据统计结果，每种情感选取前N个词，合并去除重复词后形成去除重复词，合并成基本词汇表；

(2.3)判断语音文本中的每个词在每个样本词汇表中是否出现，出现为1，不出现为0，得到语音文本特征矢量；

所述情感判断识别模块功能如下：

(4.1)通过语音情感识别模型对语音信号进行处理，得到愤怒的概率SH、开心的概率SA、悲伤的概率SS和平静的概率SM；

(4.2)通过文本情感识别模型对语音信号进行处理，得到愤怒的概率TH、开心的概率TA、悲伤的概率TS和平静的概率TM；

(4.3)降低(4.1)中愤怒的概率SH、开心的概率SA的权重，增强(4.2)中愤怒的概率TH、开心的概率TA的权重：

SH′＝SH*90％ (1)

SA′＝SA*90％ (2)

TH′＝TH*110％ (3)

TA′＝TA*110％ (4)

(4.4)最终得到情感识别结果：

Ci＝MAX{SH′+TH′,SA′+TA′,SS+TS,SM+TM}

其中，SH′+TH′,SA′+TA′,SS+TS,SM+TM分别表示加权后愤怒、开心、悲伤、平静的概率值，Max{}表示取最大值。