[发明专利]基于参数迁移和语谱图的语音情感识别方法

说明书

本发明公开了基于参数迁移和语谱图的语音情感识别方法，包括以下步骤：1）：从中科院自动化所汉语情感数据库中采集语音情感数据并对语音情感数据进行预处理，其中语音情感数据包括6种情感：生气、害怕、高兴、中性、伤心、惊奇；2）：构建基于预训练卷积循环神经网络的网络模型；3）：对步骤2）中的网络模型进行参数迁移并训练。这种方法可以提取语谱图时频两域的情感特征，提高识别准确率，并且还能学习到预训练的知识，提高网络训练速度。

技术领域

本发明涉及语音处理技术和情感分析技术领域，具体是基于参数迁移和语谱 图的语音情感识别方法。

背景技术

语音作为人类交流的重要载体之一，不仅承载着语义内容而且还包含丰富的 情感信息。语音情感识别综合模式识别、信号处理、仿生学等多学科，在人工智 能和人机交互的发展中扮演着极其重要的作用。语音情感识别的目的是使机器从 人类的语音信号中自动识别出说话人的当前情感状态，从而使计算机具有更人性 化的功能。

根据目前的研究，语音信号中用于情感识别的特征大致可以分为三类：韵律 特征、音质特征和谱特征，包括能量、音高、过零率、共振峰、梅尔倒谱系数 (Mel-frequencycepstral coefficients,MFCC)等。这些低层特征以语音帧为 单位进行提取，然后把它们在语音段的全局统计特征值输入到分类器进行情感识 别。传统的语音情感识别方法使用人工选取的特征输入浅层机器学习模型进行分 类识别。然而目前业界还不清楚这些特征集是否能有效地描述语音的情感内容， 并且韵律特征、音质特征和谱特征要么属于语音的时域特征，要么属于频域特征， 缺少语音信号随时间变化的特性，即融合时频两域相关性的特征。深度神经网络 凭借其强大的建模能力有效地捕获隐藏于数据内部的特征，对数据自动地逐级提 取特征，从而减少了手工设计特征造成的不完备性。语谱图是一种特殊的图像， 它既像普通图片那样具有空间邻域相关性，在时间维度上又具有时序性。近来已 有研究者使用深度神经网络对语谱图提取特征进行语音情感识别，如把经过卷积 层提取后的二维语谱图特征展开成具有固定时间步长的一维特征，然后输入到两 层堆叠的长短期记忆网络学习具有时序性质的特征。但这些研究没有构建一个良 好的模型来提取语谱图特征，没有充分考虑语谱图时频两域的特性，也没有解决 在语音数据集小的情况下识别率低的问题。

发明内容

本发明的目的是针对现有技术的不足，提供基于参数迁移和语谱图的语音情 感识别方法。这种方法可以提取语谱图时频两域的情感特征，提高识别准确率； 还能够学习到预训练的知识，提高网络训练速度。

实现本发明目的的技术方案是：

基于参数迁移和语谱图的语音情感识别方法，包括以下步骤：

1)：从中科院自动化所汉语情感数据库中采集语音情感数据并对语音情感数 据进行预处理，其中语音情感数据包括6种情感：生气、害怕、高兴、中性、伤 心、惊奇；

2)：构建基于预训练卷积循环神经网络的网络模型；

3)：对步骤2)中的网络模型进行参数迁移并训练。

步骤1)中所述的预处理，包括如下步骤：

①：采集6种语音情感数据；

②：对每条语音情感数据进行预加重，将预加重后的语音情感数据进行分帧， 再将分帧后的语音情感数据进行加窗处理，以降低泄漏；

③：将加窗处理后的语音情感数据进行傅里叶变换，最后将音情感数据转换 为RGB三通道语谱图。

步骤2)中所述的构建网络模型，包括如下步骤：

网络模型由卷积神经网络部分和循环神经网络部分组成；