[发明专利]一种自适应环境声音情感识别方法及装置

权利要求书

1.一种自适应环境声音情感识别方法，其特征在于，包括如下步骤：

(1)利用众包音频数据和移动设备采集环境声音并进行标注，构建环境声音样本库；

(2)对样本库中的声音数据，通过音频信号能量变化进行声音场景的自适应分割，得到不同长度的场景声音数据；

(3)对分割得到的不同长度的声音数据，基于人耳的感知特性提取声音感知特征；

(4)以声音感知特征作为输入，通过长短期记忆网络的循环神经网络方法进行环境声音情感识别模型的训练；

(5)利用训练好的模型对实际采集的环境声音数据进行情感预测。

2.根据权利要求1所述的自适应环境声音情感识别方法，其特征在于，所述步骤(1)包括：通过数据爬虫技术下载国内外公开的环境声音数据集；结合Wundt离散情绪模型，将收集到的声音进行情绪类型标注，具体包含愉悦、烦闷、兴奋、平静、紧张和放松六种情绪；补充数据集中情绪类型样本比例低于指定阈值的声音样本数量，使得各类型声音样本数量均衡。

3.根据权利要求1所述的自适应环境声音情感识别方法，其特征在于，所述步骤(2)包括：设置音频分析窗口大小，逐窗口计算音频数据的信号能量，当指定窗口数的音频信号能量都小于或者都大于预设的音频能量阈值时，认为信号能量状态发生变化，设置声音场景分割点，进行声音数据的自适应分割，得到不同长度的环境声音数据。

4.根据权利要求1所述的自适应环境声音情感识别方法，其特征在于，所述步骤(2)包括：设置音频分析窗口大小，逐窗口计算音频数据的信号能量并计算音频信号能量的二阶梯度，检索信号能量二阶梯度的过零点，当二阶梯度为零时，即信号二阶导数零交叉点，认为信号能量状态发生突变，将该点作为声音数据的自适应分割点。

5.根据权利要求3或4所述的自适应环境声音情感识别方法，其特征在于，音频数据信号能量计算公式为：

式中，N为窗口内音频的帧数，a_i为第i帧的音频强度值。

6.根据权利要求1所述的自适应环境声音情感识别方法，其特征在于，所述步骤(3)中，基于梅尔倒谱系数MFCC提取声音感知特征，包括：将输入的音频信号进行分帧，获得稳定的帧信号；通过快速傅里叶变换进行音频数据时域到频域的转换，得到声音频谱图；对不同频率的声音能量进行区域统计，定义一个有M个滤波器的三角形梅尔滤波器组，将梅尔滤波器组应用于频谱图，并将每个滤波器中的能量结果相加；计算所有滤波器能量组的对数值；通过离散余弦变换消除彼此相关性并进行降维，计算所有对数滤波器组能量值的离散余弦变换，得到26维的离散余弦变换结果；保留离散余弦变换结果的前20维结果作为声音的MFCC特征向量。

7.根据权利要求1所述的自适应环境声音情感识别方法，其特征在于，所述步骤(4)中对模型的训练包括：记录所有输入的声音感知特征的序列长度，将其中的最大序列的长度设置为长度阈值，对于小于该长度阈值的特征序列，在其后以零补充至长度阈值；然后依次经过LSTM神经单元、Dropout神经层以及Softmax全连接层进行模型训练，输出训练好的神经网络权重。

8.一种自适应环境声音情感识别装置，其特征在于，包括：

环境声音样本库构建模块，利用众包音频数据和移动设备采集环境声音并进行标注，构建环境声音样本库；

声音数据自适应分割模块，对样本库中的声音数据，通过音频信号能量变化进行声音场景的自适应分割，得到不同长度的场景声音数据；

环境声音特征提取模块，对分割得到的不同长度的声音数据，基于人耳的感知特性提取声音感知特征；

模型训练模块，以声音感知特征作为输入，通过长短期记忆网络的循环神经网络方法进行环境声音情感识别模型的训练；

环境声音情感识别模块，利用训练好的模型对实际采集的环境声音数据进行情感预测。