[发明专利]一种基于注意力机制的多尺度音频场景识别方法

权利要求书

1.一种基于注意力机制的多尺度音频场景识别方法，其特征在于，包括如下步骤：

1）建立基于注意力机制的多尺度音频场景识别卷积神经网络模型，用于准确识别不同频带大小和不同持续时间的音频场景；

所述的基于注意力机制的多尺度音频场景识别卷积神经网络模型，包括有依次串联的：用于提取所接收的对数梅尔图的不同尺度的特征的由Xception模型构成的特征提取模块（1），用于对特征提取模块（1）所提取的不同尺度特征进行处理，得到表示不同尺度的特征向量的特征处理模块（2），用于将表示不同尺度特征向量进行融合及场景分类的注意力模块（4），以及对特征提取模块（1）输出的最底层尺度特征进行处理后输出给注意力模块（4）的权重分配模块（3）；其中，所述的特征处理模块（2），包括有：

第一横向连接结构（2.1），对所接收的上层尺度特征依次进行1×1卷积处理、3×3卷积处理和全局池化处理后得到上层尺度特征向量，送入注意力模块（4），并将1×1卷积处理的上层尺度特征信息送入第二横向连接结构（2.2）；

第二横向连接结构（2.2），分别对所接收的中层尺度特征进行1×1卷积处理，以及对所接收的上层尺度特征信息进行上采样处理，再将1×1卷积处理的结果与上采样处理的结果相加后的中层尺度特征信息进行3×3卷积处理和全局池化处理后得到中层尺度特征向量，送入注意力模块（4），并将所述的中层尺度特征信息送入第三横向连接结构（2.3）；

第三横向连接结构（2.3），分别对所接收的底层尺度特征进行1×1卷积处理，以及对所接收的中层尺度特征信息进行上采样处理，再将1×1卷积处理的结果与上采样处理的结果相加后的底层尺度特征信息进行3×3卷积处理和全局池化处理后得到底层尺度特征向量，送入注意力模块（4）；

2）将包含有不同场景类别的音频文件和对应的场景类别的训练集输入基于注意力机制的多尺度音频场景识别卷积神经网络模型，对基于注意力机制的多尺度音频场景识别卷积神经网络模型进行训练；

3）读取音频文件并进行预处理，得到音频信号片段；

4）从所述的音频信号片段中提取对数梅尔图；

5）将所述的对数梅尔图输入到训练后的基于注意力机制的多尺度音频场景识别卷积神经网络模型中，得到最终的场景类别。

2.根据权利要求1所述的一种基于注意力机制的多尺度音频场景识别方法，其特征在于，所述的特征提取模块（1）的第二、第三和第四池化层输出的不同尺度特征分别送入特征处理模块（2），所述的特征提取模块（1）的第一池化层输出的最底层尺度特征送入权重分配模块（4）。

3.根据权利要求1所述的一种基于注意力机制的多尺度音频场景识别方法，其特征在于，所述的权重分配模块（3）包括依次进行的：对最底层尺度特征进行1×1卷积处理、3×3卷积处理、全局池化处理和全连接层处理，得到三个用于对不同尺度分配注意力的权重系数，并送入注意力模块（4）。

4.根据权利要求1所述的一种基于注意力机制的多尺度音频场景识别方法，其特征在于，所述的注意力模块（4）包括将特征处理模块（2）输出的上层尺度特征向量、中层尺度特征向量和底层尺度特征向量利用权重分配模块（3）输出的三个权重系数进行加权平均后，再依次进行全连接层处理和分类处理得到最终的场景类别。

5.根据权利要求1所述的一种基于注意力机制的多尺度音频场景识别方法，其特征在于，步骤3）所述的预处理是对输入的信号进行截断处理，截成固定时长10s的信号片段。

6.根据权利要求1所述的一种基于注意力机制的多尺度音频场景识别方法，其特征在于，步骤4）包括：

（1）对输入的音频信号片段进行分帧加窗；

（2）将得到的音频帧通过梅尔滤波器组，计算音频帧中的每个时间步范围内通过各梅尔滤波器的能量，将每个时间步范围内得到的所有通过梅尔滤波器的能量组成能量向量，将所有时间步范围内的能量向量合并，得到对应音频帧的二维梅尔图；

（3）对所述的二维梅尔图进行对数处理，得到对数梅尔图。