[发明专利]一种基于轻量级卷积神经网络的嵌入式音频事件检测方法

说明书

本发明公布了一种嵌入式音频事件检测方法，涉及音频事件检测技术。首先对卷积神经网络模型进行改进，提出轻量级膨胀卷积神经网络(Lightened Dilated Convolution Neural Network，L‑D‑CNN)，包括膨胀卷积层、池化层、特征求和层、输出层。采用L‑D‑CNN作为模型训练模块，模型大小减少了50‑60倍，可以降低神经网络的计算复杂度，在显卡上的运算速度提高了50‑60倍，可使用嵌入式的Nvidia TX2显卡运行；此外，对嵌入式音频事件的检测精度提高了2％‑8％。

技术领域

本发明涉及音频事件检测技术，尤其涉及一种基于膨胀卷积和特征求和的轻量级卷积神经网络的嵌入式音频事件检测方法。

背景技术

音频事件检测是指对连续音频信号流中具有明确语义的片段进行检测与标定的过程。它是机器对环境声音场景进行识别和语义理解的重要基础，并将在未来机器人声音环境的语义理解、无人车行车周边环境的声音感知等方面发挥重要的作用。

针对音频事件检测，目前国内外都做了大量的工作，音频事件检测采用的音频特征大多是浅层特征和传统的分类器(例如GMM、HMM、SVM)。然而，各类音频事件的时频特性复杂多变，而且这些浅层特征对音频事件的描述能力有限。因此，为了进一步探索能够更好描述音频事件特性差异的深层特征，深度学习就应用到了声音事件检测中。目前实践中对音频事件检测大多采用卷积神经网络(CNN)，卷积神经网络的一般结构如图3所示，包括卷积层、池化层、输出层。但是，现有技术采用卷积神经网络进行音频事件检测存在不足，一是由于目前的卷积神经网络(CNN)的卷积核过小，使得对时序特征的提取能力不强；二是目前的卷积神经网络模型大小过大，不能在嵌入式上使用。

在音频事件检测中，现在技术采用基于卷积神经网络的音频事件检测方法，如图1所示，包括训练阶段和测试阶段：

1)数据增强模块:为了防止过度拟合，我们使用数据增加数据库大小，我们采用时间拉伸转换方法用于获得稍微快或慢的音频示例

2)特征提取模块:在频域中获取音频数据的低层次表示，利用汉明窗口提取60维log mel谱和60维delta谱特征。

3)音频分割模块:将音频事件的整个特征谱图分割成几个片段，都输入到CNN模型中

4)模型训练模块:，传统方法通常采用卷积神经网络(CNN)模型，为了训练一个合适的CNN模型，将音频分割模块生成的所有片段输入CNN模型。采用随机梯度下降训练方法用于训练CNN网络和交叉熵作为损失函数。

在测试阶段，音频分割模块和特征提取模块与训练阶段相同。利用CNN模型提取高级特征，利用softmax函数对提取的高级特征进行分类。最后，采用概率投票法获得各片段后验概率的平均值。然后选择具有最高平均后类概率的类作为该测试的输出类。

发明内容

为了克服上述现有技术的不足，本发明提供一种嵌入式音频事件检测方法，对卷积神经网络模型(现有模型训练模块使用的网络)进行改进，提出轻量级膨胀卷积神经网络(Lightened Dilated Convolution Neural Network，L-D-CNN)，采用L-D-CNN作为模型训练模块可以降低神经网络的计算复杂度。

本发明提供的技术方案是：

轻量级卷积神经网络的构建方法，基于膨胀卷积和特征求和构建的轻量级膨胀卷积神经网络包括膨胀卷积层、池化层、特征求和层、输出层；构建轻量级膨胀卷积神经网络包括如下过程：

A)构建膨胀卷积层，采用膨胀卷积层替代卷积层；

对卷积神经网络模型进行改进，采用膨胀卷积层替代CNN模型中的卷积层，由此使得神经网络模型对更长的时序信息进行建模，从而使得音频事件检测系统检测精度更高；