[发明专利]一种基于残差网络的3DACRNN语音情感识别方法及存储介质

权利要求书

1.一种基于残差网络的3DACRNN语音情感识别方法，其特征在于，包括以下步骤：

S1、对语音信号进行包括预加重、加窗分帧在内的预处理；

S2、将经过步骤S1处理后的语音信号转换为二维语谱图，通过堆叠多个连续帧的语谱图的方法将二维语谱图处理成三维语谱图数据；

S3、基于残差网络的三维卷积神经网络Res3DCNN从三维语谱图中提取情感语音的短期时空特征，利用残差网络补偿传统卷积神经网络CNN在卷积过程中缺失的特征；

S4、将Res3DCNN的输出作为基于注意力机制的递归神经网络ARNN模型的输入，其中递归神经网络RNN为LSTM；LSTM的遗忘门采用后遗忘门，其中后遗忘门算法如下：

f_t＝σ(W_f×C_t-1+b_f)，

单元状态更新算法：i_t＝σ(W_i×[h_t-1,x_t]+b_i)

其中C_t-1和h_t-1分别是前一时刻的单元状态和隐藏层输出，f_t表示遗忘门输出结果，i_t表示输入门的输入数据，x_t是当前时刻的输入，是要被添加到记忆单元的候选值，W_f、W_i和W_C是分别是由训练得到的遗忘门、输入门和候选单元的权重，b_f、b_i和b_C是它们的偏差，i_t是的权重系数，σ表示的是逻辑sigmoid函数：

S5、使用验证集对训练后的模型进行10倍交叉验证，交叉熵作为损失函数，用RMSProp算法对模型参数进行优化；

S6、使用验证集对训练后的模型验证，调整模型中RMSProp算法的超参数，得到最终网络模型，最后利用Softmax层进行语音情感分类。

2.根据权利要求1所述的一种基于残差网络的3DACRNN语音情感识别方法，其特征在于，所述步骤S1根据语音信号的短时平稳性，对其进行包括预加重、加窗分帧在内的预处理，具体步骤如下：

步骤A1：采用一阶高通滤波器即预加重滤波器，其Z域中的传递函数为H(z)＝1-az^-1，a表示预加重系数，取值0.95，z表示Z域的坐标值，H(z)是传递函数，预加重处理后的信号为x(t)；

步骤A2：对预加重后的信号进行分帧，变为x(m,n)，n为帧长，m为帧的个数，采用汉明窗进行加窗：

x(m,n)表示分帧后的语音信号，w(n)表示汉明窗的窗函数，加窗分帧后语音信号为：s_w(m,n)＝x(m,n)*w(n)，s_w(m,n)表示加窗分帧后的语音信号，其中每一帧含有N个采样点。

3.根据权利要求2所述的一种基于残差网络的3DACRNN语音情感识别方法，其特征在于，所述步骤S2将处理后语音信号转换为二维语谱图，通过堆叠多张连续帧的语谱图的方法将二维语谱图处理成三维数据，其处理步骤如下：

步骤B1：通过快速傅里叶变换FFT将步骤A2处理后的信号从时域数据变换到频域，得到X(m,n)；

步骤B2：做周期图Y(m,n)，公式为Y(m,n)＝X(m,n)*X(m,n)'，X(m,n)'表示X(m,n)的导数，然后取10log₁₀Y(m,n)，把m根据时间变换一下刻度M，n根据频率变化一下刻度N，利用(M,N,10log₁₀Y(m,n))画出二维语谱图；

步骤B3：通过堆叠多个连续帧的语谱图组成一个立方体，然后在立方体中与3D卷积核进行卷积操作，这里的输入数据设置为Time×Frequency×C，Time、Frequency分别表示语谱图的横轴时间和纵轴频率，C表示语谱图的张数。