[发明专利]一种基于卷积神经网络的语音情感识别方法及系统

说明书

本发明提出了一种基于卷积神经网络的语音情感识别方法及系统。所述方法先对获取的语音信号进行预处理，再利用语谱图以时频域形式将语音信号进行显示，随后利用卷积神经网络进行特征提取，提取过程主要分为卷积过程，再进行池化过程，可根据实际信号特点和特征提取需求多次卷积与池化，得到特征图之后再用分类器进行情感特征分类，输出语音情感识别结果，本发明方法既可以保持情感特征提取的准确性，也可以保证系统识别的实时性。

技术领域

本发明涉及语音情感识别领域，尤其涉及到一种基于卷积神经网络的语音情感识别方法及系统。

背景技术

自然和谐的人机交互中，机器应该能理解人的情感和意图，对不同人、不同环境、不同任务都能给予不同的反馈，那么机器如果能拥有像人与人一样可以方便与人自然交流的“能力”，就必须要解决如何更好理解交流中的情感问题，而这正是“情感智能(EmotionalIntelligence)”所需要解决的，情感智能可以理解为情感的准确识别和反馈能力。

目前，应用于人类情感识别研究的检测信息包括语音、面部表情、生理信号、肢体语言等。语音信号是人与人之间沟通最快且最自然的方法，语音情感识别研究对促进和谐人机交互意义重大。

语音情感由一些语音参数表征，然而这些特征参数内在的复杂性决定了情感特征提取的困难。国内外研究者们从语音学和也理学方面对情感特征进行了大量的研究。一般提取的情感特征主要分为韵律特征、音质特征和谱特征。韵律特征被认为是主要的语音情感参数，反映的是唤醒度信息。人类语言的时常、语调、轻重各不相同，这些韵律特征的变化构成了美妙的语言。常见韵律特征有基频、时长、能量等，韵律特征的统计特征分析着眼于整体语音,反映出一段时间之上韵律参数的变化规律。在Basque情感数据上，Luengo等人研究发现能量的平均值、方差、能量对数和基频对数的动态变化范围、基频均值和对数斜交共6个特征是最具有情感区分能力的特征。Origlia等人提取基频和能量相关的共31维韵律特征在多个语音情感数据库上取得了很好的识别率。而Ilion使用35个韵律特征在berlin库上取得了51％的识别率。

目前国内很多研究人员进行了语音情感识别领域的研究。研究人员基于传统的基频、共振峰、MFCC(Mel-Frequency Cepstral Coefficients)等特征构建了一系列的人工特征。提取这些人工特征以及它们的统计特征，构成一个情感特征集，应用特征PCA(Principal Component Analysis)、LDA(Linear Discriminant Analysis)等特征选择方法对特征集进行选择和降维，得到与情感相关性较高的语音情感特征子集，采用支持向量机、BP神经网络等对特征子集进行分类得到语音情感。

传统的情感识别方案通常是从语音信号这些原始数据中提取语音特征。这类语音特征是人工设计的，这类特征存在以下缺点：

(1)人工设计特征的过程非常复杂,并且十分依赖工程经验；

(2)人工选择的特征通常仅针对特定数据有效,不能适应待处理数据特征的变化；

(3)人工设计的特征表达能力有限,不能精确描述数据中隐含的复杂特征和抽象特征，存在一定的偏差；

(4)人工设计的特征提取器无法提取目标的所有特征,这一非完备性会造成特征鉴别能力的大幅下降。

相比传统机器学习算法设计难度和使用难度,深度学习在特征提取方面具有明显的优势。深度学习相关的特征选择算法可以从随机初始化的特征中,根据损失函数自动调整特征参数,实现特征学习。同时，根据特征在测试集中的重要程度自动调整特征权重,完成特征选择，从而最终学习并选择出最能代表数据本质特征的特征模式,提高系统对于数据的鉴别力。

发明内容

本发明针对传统的人工设计的语音特征的缺陷，提出了一种基于卷积神经网络的语音情感识别方法及系统，所述方法包含以下步骤：