[发明专利]基于稀疏自注意力机制的声学事件检测方法、系统、存储介质及设备

权利要求书

1.一种基于稀疏自注意力机制的声学事件检测方法，包括以下步骤：

首先对输入音频信号提取梅尔声谱图，然后分别输入到卷积神经网络提取局部特征，并利用基于稀疏自注意力机制的Transformer Encoder提取时域特征；最后输入到全连接层进行分类，并对结果进行后处理，结果输出每个被检测到的声学事件的类别及起止时间；

其特征在于，所述提取时域特征的过程包括以下步骤：

将提取的局部特征H_i输入到一个单层的Transformer Encoder模型中，采用稀疏归一化方法对注意力权重归一化；对得到的注意力权重矩阵的归一化操作包括以下步骤：

2.1、A的第t列为A_t，对A_t中的元素进行降序排列；A为自注意力层中的注意力权重矩阵；

2.2、寻找满足以下条件的中间参数k_t；

k_t∈max{k∈[T]|1+kA_t,k＞∑_j≤kA_t,j}

其中T表示时间维度的大小，[T]＝{1,2...T}，A_t,k、A_t,j分别为向量A_t中的第k个和第j个元素；

2.3、求阈值τ_t

2.4、对于A_t中的每个元素j，求：

A′_t,j＝[A_t,j-τ_t]₊

其中，[·]₊表示[·]₊＝max{0,·}；

2.5、返回步骤2.1，直到t＝T，得到归一化的注意力权重矩阵A′。

2.根据权利要求1所述的一种基于稀疏自注意力机制的声学事件检测方法，其特征在于，所述的自注意力层中的注意力权重矩阵：

其中分别为self-attention中的Query和Key矩阵，d_k为特征维度大小。

3.根据权利要求2所述的一种基于稀疏自注意力机制的声学事件检测方法，其特征在于，分别输入到卷积神经网络提取局部特征所述的卷积神经网络是有至少一个卷积模块组成的，所述的卷积模块包括一个卷积层、一个归一化层、一个非线性层和一个最大池化层。

4.根据权利要求3所述的一种基于稀疏自注意力机制的声学事件检测方法，其特征在于，所述的用于提取局部特征的卷积神经网络由七个卷积模块组成，所述卷积神经网络的堆叠的卷积滤波器个数依次为16、32、64、128、128、128、128；最大池化层的池化大小为(2,2)、(2,2)、(1,2)、(1,2)、(1,2)、(1,2)、(1,2)；

每个卷积模块中的卷积层为二维卷积层，卷积核大小为(3,3)，步长为(1,1)。

5.根据权利要求4所述的一种基于稀疏自注意力机制的声学事件检测方法，其特征在于，最后输入到全连接层进行分类的过程包括以下步骤：

利用全连接层对特征进行分类，其中隐藏层参数为128，激活函数采用Sigmoid激活函数。

6.根据权利要求1至5之一所述的一种基于稀疏自注意力机制的声学事件检测方法，其特征在于，对结果进行后处理，结果输出每个被检测到的声学事件的类别及起止时间的过程包括以下步骤：

利用中值滤波对输出概率进行平滑，得到声学事件的预测概率当大于0.5表示第t时刻发生了第c类声学事件，反之表示第c类事件未发生；进而得到每一时刻声音事件是否发生的信息，继而可得声音事件的发生与结束时间。