[发明专利]基于注意力机制和双路径深度残差网络的声场景分类方法

权利要求书

1.一种基于注意力机制和双路径深度残差网络的声场景分类方法，其特征在于，包括如下步骤：

步骤1、对原始语音信号进行预处理并计算原始语音频谱图，对原始语音频谱图中的水平线和垂直线分别进行增强得到水平频谱图和垂直频谱图，对水平频谱图和垂直频谱图分别变换得到新的两路时域信号；

步骤2、分别计算原始语音信号、新的两路时域信号的对数梅尔谱图以及一阶差分对数梅尔谱图和二阶差分对数梅尔谱图，并在通道维度上进行融合得到融合谱图；

步骤3、在频率轴上将融合谱图平均分割为高频谱图和低频谱图；

步骤4、搭建带有注意力层的双路径深度残差网络；

步骤5、将所述步骤3中的高频谱图和低频谱图输入步骤4中的深度残差网络，输出原始语音信号所属的声场景类别。

2.根据权利要求1所述的一种基于注意力机制和双路径深度残差网络的声场景分类方法，其特征在于，所述步骤1中：

其中，X_h为水平频谱图，X_p为垂直频谱图，X为原始语音频谱图；κ和λ为权重平滑因子；f和t分别表示频率和时间；最小化代价函数J，令和则可求得水平频谱图X_h和垂直频谱图X_p。

3.根据权利要求1所述的一种基于注意力机制和双路径深度残差网络的声场景分类方法，其特征在于，所述步骤2中：

S_a(T，F)＝(S_X(T，F)，S_H(T，F)，S_P(T，F))

其中，S_a表示融合谱图；S_X表示原始语音信号的对数梅尔谱图以及一阶差分对数梅尔谱图和二阶差分对数梅尔谱图；S_H表示由水平频谱图生成的时域信号的对数梅尔谱图以及一阶差分对数梅尔谱图和二阶差分对数梅尔谱图；S_P表示由垂直频谱图生成的对数梅尔谱图以及一阶差分对数梅尔谱图和二阶差分对数梅尔谱图；T和F分别表示时间轴和频率轴。

4.根据权利要求1所述的一种基于注意力机制和双路径深度残差网络的声场景分类方法，其特征在于，所述步骤5包括如下步骤：

步骤51、高频谱图和低频谱图输入深度残差网络的双路径后分别输出高频特征图和低频特征图；

步骤52、高频特征图和低频特征图在频率轴维度上进行融合得到融合特征图，通过融合特征图得到多通道特征图，通过多通道特征图计算得到注意力系数；

步骤53、将注意力系数应用于多通道特征图得到加权特征图；

步骤54、将加权特征图展开为一维的特征向量，通过特征向量输出原始语音信号所属的声场景类别。

5.根据权利要求4所述的一种基于注意力机制和双路径深度残差网络的声场景分类方法，其特征在于，所述步骤52中：

M_P(T，F)＝(M_P1(T，F_L)，M_P2(T，F_H))

其中，M_P(T，F)表示融合特征图；M_P1(T，F_L)和M_P2(T，F_H)分别表示低频特征图和高频特征图；T表示特征图的高度；F、F_L和F_H分别表示融合特征图、低频特征图和高频特征图的宽度。

6.根据权利要求4所述的一种基于注意力机制和双路径深度残差网络的声场景分类方法，其特征在于，所述步骤52中：

α＝σ(W₂ReLU(W₁z))

其中，α∈R^C表示注意力系数向量；和表示权重；σ表示sigmoid激活函数；M表示多通道特征图；T和F分别表示多通道特征图的高度和宽度；C表多通道特征图的通道维度；r表示尺度缩放系数。