[发明专利]一种基于注意力机制的多尺度音频场景识别方法

说明书

一种基于注意力机制的多尺度音频场景识别方法：建立基于注意力机制的多尺度音频场景识别卷积神经网络模型，用于准确识别不同频带大小和不同持续时间的音频场景；将包含有不同场景类别的音频文件和对应的场景类别的训练集输入基于注意力机制的多尺度音频场景识别卷积神经网络模型，对基于注意力机制的多尺度音频场景识别卷积神经网络模型进行训练；读取音频文件并进行预处理，得到音频信号片段；从音频信号片段中提取对数梅尔图；将对数梅尔图输入到训练后的基于注意力机制的多尺度音频场景识别卷积神经网络模型中，得到最终的场景类别。本发明对频带范围和持续时间不同的多尺度声音场景都有很好的识别准确率,可以应用到嵌入式等移动设备中。

技术领域

本发明涉及一种音频场景识别方法。特别是涉及一种基于注意力机制的多尺度音频场景识别方法。

背景技术

音频场景识别是让机器通过处理一段已记录的音频文件或上传的数据流，目的为了让机器能够模仿人类来识别音频背后特定的背景信息(例如：公园、街道或餐厅)的一类方法。

在机器学习领域，为了解决场景识别的问题，提出了很多不同的模型和音频特征表示方法。早在1997年，就已经出现利用神经网络解决场景音频的问题的相关研究了。1998年Liu等人使用循环神经网络(Recurrent Neural Networks,RNNs)和最近邻分类器对五类不同的环境声音进行区分。然而，由于训练过程中引进了过多的参数，以上两种神经网络的模型复杂度非常高，且训练后性能表现较差。在2013年由IEEE AASP举办的比赛中，许多参赛队伍试图利用一些传统的机器学习方法，例如高斯混合模型(Gaussian MixtureModels,GMMs)、支持向量机(Support Vector Machines,SVMs)、基于树的分类方法(Tree-based Methods)和基于包的分类方法(Bag-based Methods)，来区分10类不同的声音场景类别。尽管这些方法有着较低的计算复杂度，但由于它们的模型结构相对简单并且无法充分利用当今大数据潮流下提供的越来越多的数据，传统机器学习方法无法达到令人满意的音频场景识别效果。

近年来，卷积神经网络(Convolutional Neural Networks,CNNs)的提出推动了神经网络和深度学习在模式识别等领域的应用。其中局部感知和权重共享的思想在减少模型参数的同时，也可以捕获更多的特征从而提高网络模型性能。2017年Valenti等人将CNN应用在音频场景识别领域，并取得了不错的效果。2018年Kong等人提出了8层卷积操作的CNN结构，并在2018年由IEEEAASP举办的DECASE挑战赛上取得了不错的成绩。然而，现存基于CNNs的方法中，往往利用单一尺度的声音特征进行场景识别，使得训练好的模型往往适用于某类或某几类特殊的场景，导致整体场景识别准确率不理想。

发明内容

本发明所要解决的技术问题是，提供一种具有更高的准确率和更好的实时性的基于注意力机制的多尺度音频场景识别方法。

本发明所采用的技术方案是：一种基于注意力机制的多尺度音频场景识别方法，包括如下步骤：

1)建立基于注意力机制的多尺度音频场景识别卷积神经网络模型，用于准确识别不同频带大小和不同持续时间的音频场景；

2)将包含有不同场景类别的音频文件和对应的场景类别的训练集输入基于注意力机制的多尺度音频场景识别卷积神经网络模型，对基于注意力机制的多尺度音频场景识别卷积神经网络模型进行训练；

3)读取音频文件并进行预处理，得到音频信号片段；

4)从所述的音频信号片段中提取对数梅尔图；

5)将所述的对数梅尔图输入到训练后的基于注意力机制的多尺度音频场景识别卷积神经网络模型中，得到最终的场景类别。