[发明专利]一种基于长短时记忆网络LSTM的双耳语音分离方法

摘要

本发明公开了一种基于长短时记忆网络LSTM的双耳语音分离方法。本发明提取训练双耳语音信号每个时频单元的耳间时间差、耳间强度差以及耳间互相关函数作为分离的空间特征，将相同子带内，当前帧以及前后5帧时频单元的空间特征作为双向LSTM网络的输入参数进行训练，得到基于LSTM的分离模型。测试阶段，将测试双耳语音信号的当前帧以及前后5帧时频单元的空间特征作为训练得到的双向LSTM网络的输入参数，用于估计当前时频单元目标语音的掩蔽值，从而根据掩蔽值进行语音分离。分离结果表明，本发明提出的基于LSTM网络的双耳分离方法相比于基于深层神经网络的方法在主观评价指标上有较为明显提升，且算法泛化性能好。

主权项

1.一种基于长短时记忆网络LSTM的双耳语音分离方法，其特征在于，该方法包括以下步骤：/n(1)将两个不同的训练单声道语音信号与不同方位角的与头相关脉冲响应函数HRIR相卷积，生成两个不同方位角的训练单声源双耳语音信号；/n(2)将所述两个不同方位角的训练单声源双耳语音信号进行混合，得到包含两个声源的混合训练双耳语音信号，同时加入不同信噪比的噪声，得到不同声学环境下，包含两个不同方位角声源的含噪混合训练双耳语音信号；/n(3)对步骤(2)得到的含噪混合训练双耳语音信号进行子带滤波、分帧和加窗，得到各个子带分帧后的训练双耳语音信号，即训练双耳语音信号的每个时频单元；/n(4)对步骤(3)得到的训练双耳语音信号的每个时频单元，计算耳间互相关函数CCF、耳间时间差ITD和耳间强度差ILD，作为训练双耳语音信号各个时频单元的空间特征；/n(5)将步骤(4)得到的每个时频单元的空间特征，与本子带内前、后5帧对应时频单元的空间特征一起作为长短时记忆网络LSTM网络的输入，将本时频单元的理想掩蔽比值IRM作为LSTM网络的目标值，训练LSTM网络；/n(6)对不同声学环境下，包含两个不同方位角声源的混合测试双耳语音信号，按照步骤(3)和步骤(4)处理得到测试双耳语音信号各个时频单元的空间特征；/n(7)将步骤(6)得到的每个时频单元的空间特征，与本子带内前、后5帧对应时频单元的空间特征一起输入训练好的LSTM网络中，得到每个时频单元的估计掩蔽比值ERM；/n(8)根据步骤(7)得到的估计掩蔽比值ERM，将所述混合测试双耳语音信号进行分离，得到单个声源对应的时域语音信号。/n