[发明专利]基于稀疏自注意力机制的声学事件检测方法、系统、存储介质及设备

说明书

基于稀疏自注意力机制的声学事件检测方法、系统、存储介质及设备，属于机器的听觉智能领域。为了解决现有的时序特征提取网络存在无法实现有效的时序建模的问题，从而限制了现有声学事件检测系统的性能。本发明首先对输入音频信号提取梅尔声谱图，然后分别输入到卷积神经网络提取局部特征，并利用基于稀疏自注意力机制的TransformerEncoder提取时域特征；最后输入到全连接层进行分类，并对结果进行后处理，结果输出每个被检测到的声学事件的类别及起止时间。主要用于声学事件的检测。

技术领域

本发明属于机器的听觉智能领域，涉及声学事件检测的方法系统、存储介质及设备。

背景技术

声学事件检测是指通过对声音信号的分析处理，以识别出音频信号中发生的声学事件类型及每个声学事件的起止时间。声学事件检测在安防、智慧家居、智慧城市、多媒体信息检索、生物多样性检测、智能机器人环境感知等方面有着广泛的应用前景。

现有的声学事件检测系统的结构包括频谱特征提取模块、神经网络模块、后处理模块，其中神经网络模块是声学事件检测系统的核心模块。神经网络模块主要包含两部分：局部特征提取网络与时序特征提取网络。现有的时序特征提取网络常采用自注意力机制，这种自注意力机制使得网络在处理特定时刻的特征时会受音频段内所有时刻特征的影响，而实际上，很多时刻的特征对于当前时刻特征的建模来说是无用甚至有害的，这使得网络无法实现有效的时序建模，因此限制了现有声学事件检测系统的性能，影响了现有技术的实用性。

发明内容

本发明是为了解决现有的时序特征提取网络存在无法实现有效的时序建模的问题，从而限制了现有声学事件检测系统的性能。

一种基于稀疏自注意力机制的声学事件检测方法，包括以下步骤：

首先对输入音频信号提取梅尔声谱图，然后分别输入到卷积神经网络提取局部特征，并利用基于稀疏自注意力机制的Transformer Encoder提取时域特征；最后输入到全连接层进行分类，并对结果进行后处理，结果输出每个被检测到的声学事件的类别及起止时间；

所述提取时域特征的过程包括以下步骤：

将提取的局部特征H_i输入到一个单层的Transformer Encoder模型中，采用稀疏归一化方法对注意力权重归一化；对得到的注意力权重矩阵的归一化操作包括以下步骤：

2.1、A的第t列为A_t，对A_t中的元素进行降序排列；A为自注意力层中的注意力权重矩阵；

2.2、寻找满足以下条件的中间参数k_t；

k_t∈max{k∈[T]|1+kA_t,k＞∑_j≤kA_t,j}

其中T表示时间维度的大小，[T]＝{1,2...T}，A_t,k、A_t,j分别为向量A_t中的第k个和第j个元素；

2.3、求阈值τ_t

2.4、对于A_t中的每个元素j，求：

A′_t,j＝[A_t,j-τ_t]₊

其中，[·]₊表示[·]₊＝max{0,·}；

2.5、返回步骤2.1，直到t＝T，得到归一化的注意力权重矩阵A′。

进一步地，所述的自注意力层中的注意力权重矩阵：