[发明专利]一种对话场景语音情绪识别方法、装置及计算设备

说明书

本申请公开了一种对话场景语音情绪识别方法、装置及计算设备。所述方法包括：提取训练样本的MFCC特征、一阶差分特征和二阶差分特征；读取待训练特征文件，形成数据‑标签的特征数据组合；将特征数据组合馈入改进的AlexNet网络及双向BiGRU网络，并通过CTC进行特征序列对齐，将CTC的输出送入Softmax分类器，再根据交叉熵损失进行反向传播训练，得到识别模型；使用所述模型对客服与客户声道录音进行情绪分类。所述装置包括训练特征提取模块、数据标签模块、训练模块和识别模块。所述计算设备包括存储器、处理器和存储在存储器内并能由处理器运行的计算机程序，所述处理器执行所述计算机程序时实现本申请所述的方法。

技术领域

本申请涉及语音情绪识别领域，特别是涉及消费金融场景中的语音情绪识别。

背景技术

在消费金融场景中，每天都会有非常多的热线、回访、催收等业务在客服呼叫中心中处理。客服代表着公司的形象，提升客服服务质量，对客服服务态度进行有效监管十分重要。此外，对客户在对话中的情绪状态进行实时反馈也是提升服务质量的关键。传统上对客服、客户对话情绪进行反馈的方法通常为人工抽检，费时费力且成本高昂。因此，目前消费金融领域中亟需一种可在语音对话中实时且较为准确的获取客服、客户情绪状态的系统。

在目前的金融领域客服对话场景中，语音情绪识别由于受到电话信道噪声、方言等因素影响，准确率较低，且识别速度很多也难以满足实时性需求，极大的增加了金融客服场景的情绪识别难度。金融客服对话场景的语音情绪识别方法一般可分为两种：1)基于传统手工特征+机器学习分类器的语音情绪识别方法，该方法首先对语音提取梅尔频率倒谱系数(Mel-frequency cepstral coefficients，MFCC)或PLP(Perceptual LinearPrediction)特征，随后将所提取特征馈入GMM-UBM或SVM等机器学习分类器进行情绪分类，该方法的缺点首先是传统手工特征对噪声等信息处理能力不足，其次是简单的机器学习分类器无法有效找到较好的样本分类空间，导致识别准确率严重不足，难以满足客服对话中情绪识别的场景需求；2)基于MFCC特征+深度学习分类网络的语音情绪识别方法。该方法首先对语音信号提取MFCC特征，随后将该MFCC特征馈入深度学习分类网络对信息进行处理。该方法的优势在于深度学习分类网络对于多层次信息的高效处理能力，有效利用了语音信息的时域、频域特征，还可将噪声等信息作为背景信息进行分类处理，可有效提升语音情绪识别的准确性能。

目前金融领域客服对话场景中的语音情绪识别准确性能和识别实时性能都有待提升。在进行情绪分类时，可将客户及坐席的情绪分为3种情绪(正向、中性、负向)，其中正向和中性由于语音情绪的相似性，识别精度一般较低，负向信息虽较为明显，但当客服或客户的负向信息识别有误时，则会带来较大的业务影响。此外，识别速度若较低，也无法满足场景业务需求。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种对话场景语音情绪识别方法，包括：

提取训练集中每个语音文件的三通道特征，即MFCC特征、一阶差分特征和二阶差分特征，形成三通道特征图，并将每个语音文件的三通道特征图存入特征文件；

分批次读取待训练特征文件，形成数据-标签的特征数据组合，所述标签为情绪分类标签；

分批次将上述特征数据组合馈入改进的AlexNet网络及双向BiGRU网络，并通过CTC进行特征序列对齐，将经过CTC处理后的特征序列送入Softmax 分类器，再根据交叉熵损失进行反向传播训练，至损失收敛，得到对话场景语音情绪识别模型；

分别对客服与客户声道录音提取三通道特征，将提取的三通道特征送入所述对话场景语音情绪识别模型进行情绪分类；

所述的改进的AlexNet网络的结构为：