[发明专利]一种基于多层注意力机制的语音分离方法、模块

权利要求书

1.一种基于多层注意力机制的语音分离方法，其特征在于，包括以下步骤：

S1：获取混合语音中特定讲话人的干净语音，并提取所述特定讲话人的声纹信息，所述混合语音包括多个讲话者；

S2：通过多层注意结构和特定讲话人的声纹信息，连续净化所述混合语音，以获取分离语音；

其中，步骤S1具体包括：

1)定义s为特定讲话人的干净语音，并通过短时傅里叶变换(STFT)将其转换为时频域S_t，将S_t作为双向-长期短期记忆(Bi-LSTM)层的输入，每一帧输入可以对应获得一个时间步的隐状态输出h_t；

h_t＝Bi-LSTM(S_t) (1)；

2)将每个时间步的输出h_t求和后取平均值，得到特定讲话人声纹向量表达p_i，T为最大时间步：

其中，步骤S2具体包括：

1)定义x为原始多讲话者混合语音，然后通过STFT将其转换为时频域X_t，使用X_t作为Bi-LSTM层的输入，得到隐状态输出h_i为：

h_i＝Bi-LSTM(X_t) (3)；

2)将特定讲话人的声纹信息p_i与h_i进行拼接，然后送入多层感知机(MLP)计算得到注意力权重e_j，并将其标准化，得到标准化后的注意力得分α_t：

e_j＝MLP(h_t，p_i) (4)；

3)将注意力得分α_t与上一层Bi-LSTM的输出h_t直接相乘，获得过滤后的特征f_t，过滤后的特征f_t被视为对前一层输出过滤后的结果，然后作为下一个Bi-LSTM层的输入：

f_t＝α_t*h_t (6)；

4)在输出层，使用MLP对最后一层f_t进行的特征映射，得到预测的分离语音量幅度谱MLP层计算与损失函数定义如下：

其中y_t表示对应的干净语音幅度谱。