[发明专利]一种对话场景语音情绪识别方法、装置及计算设备

权利要求书

1.一种对话场景语音情绪识别方法，包括：

提取训练集中每个语音文件的三通道特征，即MFCC特征、一阶差分特征和二阶差分特征，形成三通道特征图，并将每个语音文件的三通道特征图存入特征文件；

分批次读取待训练特征文件，形成数据-标签的特征数据组合，所述标签为情绪分类标签；

分批次将上述特征数据组合馈入改进的AlexNet网络及双向BiGRU网络，并通过CTC进行特征序列对齐，将经过CTC处理后的特征序列送入Softmax分类器，再根据交叉熵损失进行反向传播训练，至损失收敛，得到对话场景语音情绪识别模型；

分别对客服与客户声道录音提取三通道特征，将提取的三通道特征送入所述对话场景语音情绪识别模型进行情绪分类；

所述的改进的AlexNet网络的结构为：

第一层：卷积核大小为9×9的卷积层，步长为4，共128个卷积核，激活函数为LeakeyRelu；

第二层：卷积核大小为1×1的卷积层；

第三层：卷积核大小为3×3的卷积层，步长为1，激活函数为LeakeyRelu；

第四层：卷积核大小为3×3的卷积层，步长为1，激活函数为LeakeyRelu；

第五层：卷积核大小为1×1的卷积层；

第六层：卷积核大小为3×3的卷积层，步长为1，激活函数为LeakeyRelu；

第七层：卷积核大小为3×3的卷积层，步长为1，激活函数为LeakeyRelu；

第八层：卷积核大小为1×1的卷积层；

第九层：全连接层，神经元数目为2048；

第十层：全连接层，神经元数目为1024；

第十一层：全连接层，神经元数目为3。

2.根据权利要求1所述的方法，其特征在于，将经过CTC处理后的特征序列送入全连接层，将所述全连接层的输出送入Softmax分类器。

3.根据权利要求1或2所述的方法，其特征在于，所述情绪分类标签包括正向、负向和中性。

4.根据权利要求1-3中任一项所述的方法，其特征在于，在所述提取训练集中每个语音文件的三通道特征之前还包括：

将情绪标注完成的客服录音数据进行数据扩增，并将扩增后的数据分为训练集和测试集。

5.一种对话场景语音情绪识别装置，包括：

训练特征提取模块，其配置成提取训练集中每个语音文件的三通道特征，即MFCC特征、一阶差分特征和二阶差分特征，形成三通道特征图，并将每个语音文件的三通道特征图存入特征文件；

数据标签模块，其配置成分批次读取待训练特征文件，形成数据-标签的特征数据组合，所述标签为情绪分类标签；

训练模块，其配置成分批次将上述特征数据组合馈入改进的AlexNet网络及双向BiGRU网络，并通过CTC进行特征序列对齐，将经过CTC处理后的特征序列送入Softmax分类器，再根据交叉熵损失进行反向传播训练，至损失收敛，得到对话场景语音情绪识别模型；和

识别模块，其配置成分别对客服与客户声道录音提取三通道特征，将提取的三通道特征送入所述对话场景语音情绪识别模型进行情绪分类；

所述的改进的AlexNet网络的结构为：

第一层：卷积核大小为9×9的卷积层，步长为4，共128个卷积核，激活函数为LeakeyRelu；

第二层：卷积核大小为1×1的卷积层；

第三层：卷积核大小为3×3的卷积层，步长为1，激活函数为LeakeyRelu；

第四层：卷积核大小为3×3的卷积层，步长为1，激活函数为LeakeyRelu；

第五层：卷积核大小为1×1的卷积层；

第六层：卷积核大小为3×3的卷积层，步长为1，激活函数为LeakeyRelu；

第七层：卷积核大小为3×3的卷积层，步长为1，激活函数为LeakeyRelu；

第八层：卷积核大小为1×1的卷积层；

第九层：全连接层，神经元数目为2048；

第十层：全连接层，神经元数目为1024；

第十一层：全连接层，神经元数目为3。