[发明专利]一种基于一维卷积神经网络的复杂声音识别方法

说明书

本发明公开了一种基于一维卷积神经网络的复杂声音识别方法，对复杂声音采用随机补齐算法处理，将原始数据填充至同一长度，用于一维卷积神经网络的输入；并在一维卷积神经网络的基本框架嵌入预加重模块和简化的注意力机制模块，所述预加重模块置于一维卷积神经网络的输入部分，用于对输入数据进行预加重和参与网络模型调优，所述简化的注意力机制模块置于一维卷积神经网络的深层，利用全局平均池化和sigmoid函数得到带有注意力的全局特征。通过本发明的方法优化网络模型，获得良好的识别效果。

技术领域

本发明属于音频处理技术领域，涉及复杂声音识别技术，特别涉及一种基于一维卷积神经网络的复杂声音识别方法。

背景技术

复杂声音指环境中的非语言类声音，声源复杂且多样、信号本身具有非平稳性并且时常伴随极具干扰的背景噪声等，使得不同的声音场景的声音特征不够明显或者特征相似度非常高，复杂声音识别能够自动识别环境中复杂声音的具体种类，如小孩玩耍、汽车鸣笛和街头音乐等。在声音分类领域，诸如语音分类和音乐分类已经达到了非常高的准确率，但是在复杂声音识别领域中由于信号本身的非平稳性，语音或音乐分类方案显然不适合于解决此类问题，因此需要提出一种有效的针对复杂声音的识别模型。

目前结合神经网路解决复杂声音分类问题上，根据输入数据的不同主要有三种方法：基于原始信号、人工特征和多种输入数据。第一种是直接使用原始信号进行网络训练，这种方法的优点是不需要人工对信号进行特征提取，极大简化操作流程，模型简单方便普及；第二种方法是对原始数据进行处理，人工提取声音信号的某些特征，如频谱图和梅尔频率倒谱系数等，这种方法的优点是针对某些数据集准确率较高，但是泛化能力差，模型很难改变后续的识别结果。第三种是多输入的复杂网络，将原始声音信号和人工提取的特征共同作为网络的输入部分，优点是能够结合信号的原始特征(时序特征)和频域特征，弥补了单一数据特征不足的缺陷，但是该类模型比较复杂，对平台的硬件要求很高，不方便应用。

基于原始音频信号的深度学习模型被许多学者用来解决复杂声音识别问题，例如Dai等人提出的基于一维卷积神经网络的复杂声音识别模型，取得了较好的识别准确率。但是由于深度学习模型很难有效提取原始信号的特征，并且现有技术提出的模型较为复杂，需要进一步优化。因而基于原始音频信号解决复杂声音问题是一个非常大的挑战。为达到好的识别效果，现有的方案中还存在以下问题：

(1)原始数据不一致的问题

在实际的数据处理过程中存在一些数据集(如UrbanSound8K数据集和实际环境采集的数据)中的音频时长不一致的情况，而一维卷积神经网络模型要求固定的输入数据长度，因此需要使用数据填充，常用的数据填充方法有三次样条插值、补零法等。数据集中会存在许多音频时长和目标长度相差很大，例如实际时长是1秒，目标长度是4秒，显然三次样条插值已经不适用此种情况，而补零方法过于简单，数据会丢失很多的信息，而且填充的零越多还可能掩盖有效信息。因此，本发明提出一种随机补齐算法，该方法基于原始数据，在填充数据的同时，能够丰富数据特征。

(2)注意力机制

注意力机制能够让模型关注有用的信息，能够进一步提升模型性能。卷积神经网络中常用的有SeNet、BAM和CBAM等注意力机制模块，但是这些模块都是面向二维卷积神经网络的，因此本发明提出了一个面向一维卷积神经网络的简化的注意力机制，该模块通过对全局特征进行加权，再和原特征向量相乘得到带有注意力的特征向量。

发明内容

针对现有技术存在的不足，本发明提供一种基于一维卷积神经网络的复杂声音识别方法，首先提出一种随机补齐算法将参差不齐的原始音频数据填充至相同的长度输入至网络模型中，然后优化网络模型，将预加重技术和简化的注意力机制引入神经网络进行训练，最终构建了复杂声音识别模型。

为了解决上述技术问题，本发明采用的技术方案是：