[发明专利]一种自适应环境声音情感识别方法及装置

说明书

本发明公开了一种自适应环境声音情感识别方法及装置，所述方法包括：利用众包音频数据和移动设备采集环境声音并进行标注，构建环境声音样本库；对样本库中的声音数据，通过音频信号能量变化进行声音场景的自适应分割，得到不同长度的场景声音数据；对分割得到的不同长度的声音数据，基于人耳的感知特性提取声音感知特征；以声音感知特征作为输入，通过长短期记忆网络的循环神经网络方法进行环境声音情感的训练，利用训练好的模型对实际采集的环境声音数据进行情感预测。

技术领域

本发明涉及声音数据处理领域，尤其涉及一种自适应环境声音情感识别方法及装置。

背景技术

声音是人类感知环境的重要途径，是人居环境重要组成部分，声音景观设计已经成为城市规划、建筑学等相关研究的新兴课题。声音情感是人对环境声音的主观感受体现，是对声音环境评价的重要指标。现阶段环境声音的类型识别已经有了广泛的研究，提出了很多基于音频信号处理和机器学习的环境声音类型识别方法。与声音类型的识别相比，环境声音的情感识别的方法研究还较少。

现有的声音情感识别方法多针对人类语音或者音乐，这些情感识别方法一般基于声音信号处理或者机器学习。基于信号处理的方法通过捕捉声音信号的变化规律进行情感类型的识别，比如信号过零率和信号分解特征。这些方法在某些场景下成功实现了情感识别，然而为了实现良好的精度需要设计复杂的信息提取算法。基于机器学习的方法不需要设计复杂的信息处理算法，诸如高斯混合模型(GMM)和支持向量机(SVM)等方法已经表现了不俗的识别精度。这些方法通过机器学习方法的思想，先构建特定主题和情感类型的声音样本库，然后提取不同视角的声音特征，最后通过机器学习的训练机制进行自动化分类。已经有不少面向不同国家语言和不同类型音乐的声音情感数据集、声音特征提取方法以及和声音情感识别方法。以全球最大的机器学习数据开放平台Kaggle上的公开语音和音乐情感样本库RAVDESS(Ryerson Audio-Visual Database of Emotional Speech and Song)为例，其声音数据样本为人声，且多为3-4秒的短时声音样本。然而不同于人类语音和音乐，环境声音的组成更为复杂，包含交通、自然、机械等不同声源类型，且也更具有变化性，会随着发声对象的改变和移动在短时间发生变化。因此针对环境声音情感识别的方法还有待研究。

发明内容

发明目的：本发明的目的在于自适应的识别变长环境声音数据的动态情感，提供一种基于神经网络的环境声音情感识别方法及装置，实现对任意变长环境声音数据自适应的动态情感识别。

技术方案：根据本发明的第一方面，一种自适应环境声音情感识别方法，包括以下步骤：

(1)利用众包音频数据和移动设备采集环境声音并进行标注，构建环境声音样本库；

(2)对样本库中的声音数据，通过音频信号能量变化进行声音场景的自适应分割，得到不同长度的场景声音数据；

(3)对分割得到的不同长度的声音数据，基于人耳的感知特性提取声音感知特征；

(4)以声音感知特征作为输入，通过长短期记忆网络的循环神经网络方法进行环境声音情感识别模型的训练；

(5)利用训练好的模型对实际采集的环境声音数据进行情感预测。

进一步地，所述步骤(1)包括：通过数据爬虫技术下载国内外公开的环境声音数据集；结合Wundt离散情绪模型，将收集到的声音进行情绪类型标注，具体包含愉悦、烦闷、兴奋、平静、紧张和放松六种情绪；补充数据集中情绪类型样本比例低于指定阈值的声音样本数量，使得各类型声音样本数量均衡。

在一个实施方式中，所述步骤(2)包括：设置音频分析窗口大小，逐窗口计算音频数据的信号能量，当指定窗口数的音频信号能量都小于或者都大于预设的音频能量阈值时，认为信号能量状态发生变化，设置声音场景分割点，进行声音数据的自适应分割，得到不同长度的环境声音数据。