[发明专利]基于集成学习和卷积神经网络的环境声音识别方法

说明书

本发明公开了基于集成学习和卷积神经网络的环境声音识别方法，包括：S1、特征提取，对原始音频进行分帧和加窗，利用梅尔滤波器组得到声音的梅尔能量频谱，最终得到最后的梅尔能量频谱特征，作为数据集；S2、模型训练，采用k折交叉验证和使用mixup数据增强方法对于所述数据集进行模型训练，得到K个卷积神经网络模型；S3、声音测试，对待测声音样本通过卷积神经网络模型进行识别。本发明能够利用k折交叉验证训练k个模型并结合k个模型进行声音识别，大大增强了模型的泛化能力，有效缓解了过拟合的现象，此外针对数据量不大的情况，使用mixup数据增强对原始样本进行混合以进一步增强模型的泛化能力。

技术领域

本发明涉及人工智能技术领域，尤其涉及基于集成学习和卷积神经网络的环境声音识别方法。

背景技术

在音频信息的研究中，环境声音识别是一个重要的研究领域，其在安全监控、医疗监护、智能家居和场景分析等领域有着很大的应用潜力。相比于语音识别，环境声音具有类噪、宽频谱等特性，使得环境声音的识别更具有挑战性。

现有的基于卷积神经网络的环境声音识别方法通常先将已有数据分为训练集和测试集，接着利用训练集训练一个模型直到模型收敛，训练过程中用测试集对模型进行测试，选择在测试集上表现最好的模型进行保存，最终以保存的卷积神经网络进行环境声音的识别

现有的基于卷积神经网络的识别方法、基于卷积神经网络和循环神经网络的识别方法和基于高斯混合模型的识别方法都是通过已有环境音频数据训练单个模型来对未知的环境音频进行识别，这种方法训练出来的模型都具有泛化能力较弱，容易出现过拟合的缺点。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供基于集成学习和卷积神经网络的环境声音识别方法，能够利用k折交叉验证训练k个模型并结合k个模型进行声音识别，大大增强了模型的泛化能力，有效缓解了过拟合的现象，此外针对数据量不大的情况，使用mixup数据增强对原始样本进行混合以进一步增强模型的泛化能力。

为实现上述目的，本发明提供了基于集成学习和卷积神经网络的环境声音识别方法，包括以下步骤：

S1、特征提取，对原始音频进行分帧和加窗，对每一个短时分析窗，通过FFT得到对应的幅度频谱，取平方得到声音的能量频谱，然后利用梅尔滤波器组得到声音的梅尔能量频谱，接着对梅尔能量频谱取log非线性变换，得到最后的梅尔能量频谱特征，作为数据集；

S2、模型训练，采用k折交叉验证，将所述数据集等比例划分成k份，以其中一份作为测试数据，其他的k-1份作为训练数据，接着对训练数据使用mixup数据增强进行混合后用于模型训练，保存在测试数据上表现最好的模型，重复k次以上操作得到K个卷积神经网络模型；

S3、声音测试，对待测声音样本采用和步骤S1同样的特征提取步骤，得到待测声音的梅尔能量频谱特征作为测试样本，将测试样本输入到训练好的k个卷积神经网络模型中，将k个卷积神经网络模型的输出送入结合模块，结合模块将输出的众数作为集成模型的最终输出，将最终输出与测试集样本所对应的类别进行比对，计算出环境声音的识别率。

进一步地，所述步骤S1对原始音频进行分帧和加窗具体为：将音频数据N个采样点集合成一个观测单位称为帧，让两相邻帧之间有一段重叠区域，将每一帧代入窗函数以消除各个帧两端造成的信号不连续性。

进一步地，所述步骤S2每次操作都是从k个部分选取一份不同的数据部分作为测试数据，保证k个部分的数据都分别做过测试数据，剩下的k-1个当作训练数据。

进一步地，所述步骤S2中mixup数据增强具体为：随机选取两个特征样本按比例混合以线性插值的方式来构建新的训练样本和标签，最终对标签的处理如下公式所示：