[发明专利]一种基于深度域适应性卷积神经网络的跨库语音情感识别方法

权利要求书

1.一种基于深度域适应性卷积神经网络的跨库语音情感识别方法，其特征在于该方法包括：

(1)获取两个语言不同的语音数据库，分别作为训练数据库和测试数据库，其中，每个语音数据库中包括有若干语音信号和对应的情感类别标签；

(2)将训练数据库和测试数据库中的语音信号分别进行预处理，得到每段语音信号的频谱图；

(3)建立深度域适应性卷积神经网络，所述深度域适应性卷积神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和softmax层；

(4)将训练数据库和测试数据库的语音信号频谱图分别输入建立的深度域适应性卷积神经网络进行训练，其中，在训练网络时，先计算训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异，之后计算训练数据库语音信号频谱图对应的softmax层输出以及其情感类别标签之间的交叉熵，最后将最大均值差异和交叉熵相加作为网络损失采用反向传播算法更新网络参数，完成网络训练；

(5)将待识别的语音信号进行预处理，得到其频谱图，并将频谱图输入训练好的深度卷积神经网络，输出中维数最大的类别即为识别的情感类别。

2.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法，其特征在于：步骤(3)中所述第一卷积层的输入和输出间以及所述第二卷积层的输入和输出间的关系式为：

Y_C1＝φ(conv(W_C1,X_C1)+b_C1)

式中，Y_C1表示第一卷积层输出，X_C1表示第一卷积层输入，W_C1、b_C1分别为权重参数、偏置参数，通过网络训练得到，conv()表示卷积函数，φ为激活函数，且φ(·)＝max(0，·)；

Y_C2＝φ(conv(W_C2，X_C2)+b_C2)

式中，Y_C2表示第二卷积层的输出，X_C2表示第二卷积层的输入，W_C2、b_C2分别为权重参数、偏置参数，通过网络训练得到。

3.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法，其特征在于：步骤(3)中所述第一全连接层的输入和输出间以及第二全连接层的输入和输出间的关系式为：

Y_d1＝φ(W_d1X_d1+b_d1)

式中，Y_d1表示第一全连接层的输出，X_d1表示第一全连接层的输入，W_d1、b_d1分别为权重参数、偏置参数，通过网络训练得到，φ为激活函数，且φ(·)＝max(0,·)；

Y_d2＝φ(W_d2X_d2+b_d2)

式中，Y_d2表示第二全连接层的输出，X_d2表示第二全连接层的输入，W_d2、b_d2分别为权重参数、偏置参数，通过网络训练得到。

4.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法，其特征在于：步骤(4)中所述训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异的计算方法为：

式中，MMD(D_s，D_t)为D_s、D_t的最大均值差异，为训练数据库语音信号频谱图对应的全连接层输出，元素为M个，为测试数据库语音信号频谱图对应的全连接层输出，元素为N个，k()表示高斯核函数。