[发明专利]一种基于残差网络的3DACRNN语音情感识别方法及存储介质

说明书

本发明请求保护一种基于残差网络的3DACRNN语音情感识别方法及存储介质，该方法包括步骤：S1，将语音信号转换为语谱图，通过堆叠多个连续帧的方法将语谱图处理成三维数据做为Res3DCNN的输入；S2，Res3DCNN从语谱图中提取情感语音的短期时空特征，利用残差网络补偿传统CNNs在卷积过程中缺失的特征；S3，通过ARNN提取时空特征的长期依赖关系，改善时空关联性弱的问题，为了降低计算复杂度，本发明提出一种新颖的后遗忘门结构改进传统LSTM；S4，在模型训练的过程中各自更新自身的参数使得损失最小，通过不断迭代优化，最终使模型达到最优；S5，最后利用Softmax层进行情感分类。本发明能够有效解决原始特征丢失严重以及时空关联性弱的问题，提高识别准确率。

技术领域

本发明属于语音信号处理与模式识别领域，特别是一种基于残差网络的3DACRNN语音情感识别方法。

背景技术

人工智能领域的不断发展使得人类与计算机的关系日益密切，情感计算更是其中一个重要研究领域，在人机交互中情感交互具有非常重要的意义。而语言是人类信息交流的直接媒介，所以，语音情感识别(SER)相较于其他情感识别技术来说，在实用性和应用广泛程度上最具有代表性。情感识别过程中的一个关键环节是从语音信号中提取出可以表征人类情感的特征集，迄今为止，仍然没有一个很系统的特征集。

之前很多研究都是直接从语音中提取低层次描述符(LLDs)，再利用传统的机器学习方法对情感进行分类。但是，由于存在上下文和表达情感的不同方式等因素，从LLDs选取特征集进行SER的效果不是特别理想。随着科技的发展，图像处理变得易于实现，因此SER研究的新热点是将语音信号转化为语谱图作为SER的识别对象。这种方法避免了手工特征提取的繁琐过程，减少建模和训练工作量。它还能反映语音信号的能量特性和节奏变化的纹理特征，已有许多研究者开始基于图谱开展语音情感识别技术的研究，并取得了良好的效果。Tarunika等使用深度神经网络(DNN)从幅度谱中提取高级情感特征表示，并且与传统声学特征相比表现出更好的性能。Han等提出一种DNN-ELM深度网络模型用于SER，使用能量最高的片段来训练DNN模型，以提取有效的情绪信息。

近几年，CNN和RNN在SER领域应用广泛，深卷积模型可以保持语音信号的谱时平移不变性，RNN在处理时序信息方面表现优异，因此常用于提取情感语音的高级特征。Neumann等将无监督自动编码器学习表示集成到CRNN情感分类器中，提高了识别精度。但是，CNN从语谱图中学习特征的这种方法，仅仅是对单帧图的CNN特征进行融合，因此往往忽略了相邻的连续语音帧间的联系，因此，一些研究提出了三维卷积模型用于SER，可以更好地捕捉特征表示的短期时空关系。Peng等人将谱图信息直接作为三维-CRNN的输入，卷积层用于提取高层次表示，递归层则提取用于情感识别的长期依赖关系。针对沉默帧和情感无关帧对SER的干扰，Chen等提出了一种基于注意力的3D卷积递归神经网络(ACRNN)模型用于学习SER的判别特征，注意力机制的引入有效降低了沉默帧等冗余信息的影响。但是随着使用CNN模型的卷积层数量的增加，原始特征将逐渐丢失，且需要训练的参数也逐渐增多，导致计算量非常大。本发明针对计算量大的问题，发明了一种后遗忘门结构代替传统LSTM的遗忘门，通过减少参数的方式减少计算量。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种可获得较高识别率、弥补丢失特征且降低计算量的基于残差网络的3DACRNN语音情感识别方法及存储介质。本发明的技术方案如下：

一种基于残差网络的3DACRNN语音情感识别方法，其包括以下步骤：

S1、对语音信号进行包括预加重、加窗分帧在内的预处理；

S2、将经过步骤S1处理后的语音信号转换为二维语谱图，通过堆叠多个连续帧的语谱图的方法将二维语谱图处理成三维语谱图数据；