[发明专利]一种端到端的语音情感识别的方法和系统

摘要

本发明公开了一种端到端的语音情感识别的方法和系统，其特征在于，包括语音数据音素特征提取；语音数据倒谱特征提取；音素向量序列和倒谱特征以文件为单位进行对齐，作为输入，利用深度神经网络进行端到端的语音情感识别模型训练；模型部署时，针对任意输入的语音数据的重采样和有效语音段检测。使用上述特征提取流程和识别模型，可以针对语音数据端到端的进行识别，效率更高，预测更精准。

主权项

1.一种端到端的语音情感识别的方法，其特征在于，包括如下步骤：步骤一：从IEMOCAP数据集中抽取句子格式的语音数据(下文简称：句子语音数据)和情绪标签，其中句子语音数据是经拆分IEMOCAP数据集中的语音对话为单句语音，每个单句语音为一条语句数据；针对IEMOCAP数据集包含的5个对话，利用5‑fold交叉验证方法处理句子语音数据，即依次选取IEMOCAP数据集的4个对话中的句子语音数据作为训练数据，剩下的1个对话中的句子语音数据作为测试数据，形成数据集；情绪标签选取开心、愤怒、中性、悲伤、沮丧以及激动；其中，IEMOCAO数据集中的原始语音在抽取句子语音数据前，需先经过预处理提取有效语音片段，具体为：步骤101，对接入系统的语音数据进行重采样，统一输入语音的采样频率；重采样的目标频率设置为16khz，多声道数据转单声道的过程始终提取左声道语音数据；步骤102，对重采样后的语音数据进行有效语音段提取，过滤掉静音或噪声部分，具体包括：切分语音数据，借助开源工具webrtcvad判断每一帧是噪音帧还是有效帧；有效帧输出1，噪音帧输出0，将语音数据帧序列转换成0‑1序列；通过设置一个滑动窗口(buf),来寻找有效语音段的起止点，当buf中的1状态达到整个buf的90％，就认为找到有效语音段的起点。，当buf中的0状态达到整个buf长度的90％，就认为找到有效语音段的结束点；步骤二：句子语音数据的音素特征提取：使用pocketsphinx工具处理每条句子语音数据形成音素序列，经词嵌入模型训练得到音素嵌入模型，通过音素嵌入模型将音素序列转换成音素向量序列；统计音素向量序列长度，根据统计结果的集中范围，统一所有的音素向量序列长度；步骤三：句子语音数据的对数梅尔倒谱特征提取：对句子语音数据做加窗分帧的预处理，然后经快速傅里叶变换和梅尔滤波处理获得句子语音数据在时频域上的梅尔倒谱图，对倒谱图求一阶差分值和二阶差分值，进而获得包含语音静态特征和动态特征的倒谱特征图；统计数据集中所有音频文件的帧数，根据帧数的集中范围，确定后续训练模型中池化层的边长参数；步骤四：基于深度神经网络构建语音情绪识别模型，融合句子语音数据的音素特征和倒谱特征：采用双向长短记忆模型对句子语音数据对应的音素向量序列进行训练，提取音素向量序列中反映情绪的语调变化信息，以及音素向量序列对应的文本序列中所包含的反映情绪的语义信息；使用卷积神经网络模型对倒谱特征图进行特征提取；根据步骤二中统计的音素向量序列长度，确定双向长短记忆模型的时间步长，将两个模型输出的特征向量分别输入attention层，将得到的特征进行首尾连接，输入全连接层进行特征拟合；步骤五：使用softmax函数：对步骤四的输出进行归一化处理，得到语音数据在每种情绪类别的概率；对于长语音，这个结果就是一个情绪标签的列表，列表中的元素分别对应着按时间排序的有效语音段的情绪预测结果。