[发明专利]一种基于长短时记忆网络LSTM的双耳语音分离方法

权利要求书

1.一种基于长短时记忆网络LSTM的双耳语音分离方法，其特征在于，该方法包括以下步骤：

(1)将两个不同的训练单声道语音信号与不同方位角的与头相关脉冲响应函数HRIR相卷积，生成两个不同方位角的训练单声源双耳语音信号；

(2)将所述两个不同方位角的训练单声源双耳语音信号进行混合，得到包含两个声源的混合训练双耳语音信号，同时加入不同信噪比的噪声，得到不同声学环境下，包含两个不同方位角声源的含噪混合训练双耳语音信号；

(3)对步骤(2)得到的含噪混合训练双耳语音信号进行子带滤波、分帧和加窗，得到各个子带分帧后的训练双耳语音信号，即训练双耳语音信号的每个时频单元；

(4)对步骤(3)得到的训练双耳语音信号的每个时频单元，计算耳间互相关函数CCF、耳间时间差ITD和耳间强度差ILD，作为训练双耳语音信号各个时频单元的空间特征；

(5)将步骤(4)得到的每个时频单元的空间特征，与本子带内前、后5帧对应时频单元的空间特征一起作为长短时记忆网络LSTM网络的输入，将本时频单元的理想掩蔽比值IRM作为LSTM网络的目标值，训练LSTM网络；其中，LSTM网络的训练过程具体包括：

(5-1)构建LSTM网络，其中，LSTM网络由输入层、LSTM网络层和输出层组成，输入层包括各时刻的输入，输出层包括各时刻的输出，LSTM网络层包括各时刻的LSTM单元，LSTM的时间步长设置为11，即当前帧以及前后5帧，LSTM网络层中的每个LSTM单元与前后时刻LSTM单元分别双向连接；

(5-2)随机初始化LSTM网络层的权值；

(5-3)计算当前时频单元的理想掩蔽比值IRM，作为LSTM网络的目标值；其中，所述理想掩蔽比值IRM计算公式如下：

以左声道为分离声道，将当前时频单元对应的方位角1的单声源左耳语音信号s_1,L(n)经过子带滤波、分帧、加窗后得到第i个子带、第k帧的左耳语音信号s_L(i,k,m)，根据s_L(i,k,m)计算IRM：

(5-4)将每一时频单元的空间特征，与同一子带内前、后5帧时频单元的空间特征一起输入LSTM网络的输入层，即[F(i,k-5),F(i,k-4),…,F(i,k),…,F(i,k+4),F(i,k+5)]；

(5-5)根据前向传播算法，得到LSTM网络的输出，即估计的掩蔽比值ERM，根据ERM和理想掩蔽值IRM的差值计算损失函数：

其中E[·]表示期望运算，‖·‖₂表示L2范数；

(5-6)使用反向传播算法，计算损失函数J对网络权值的偏导，并修正网络的权值；

(5-7)若当前迭代次数小于预设总迭代次数，则返回至(5-4)，继续输入下一批时频单元的空间特征进行计算，直至得到达到预设迭代次数，迭代结束，LSTM网络训练结束；

(6)对不同声学环境下，包含两个不同方位角声源的混合测试双耳语音信号，按照步骤(3)和步骤(4)处理得到测试双耳语音信号各个时频单元的空间特征；

(7)将步骤(6)得到的每个时频单元的空间特征，与本子带内前、后5帧对应时频单元的空间特征一起输入训练好的LSTM网络中，得到每个时频单元的估计掩蔽比值ERM；

(8)根据步骤(7)得到的估计掩蔽比值ERM，将所述混合测试双耳语音信号进行分离，得到单个声源对应的时域语音信号。

2.根据权利要求1所述的基于长短时记忆网络LSTM的双耳语音分离方法，其特征在于：步骤(1)中所述两个不同方位角的单声源双耳语音信号的计算公式为：

其中，s₁(n)、s₂(n)为两个不同的单声源语音信号，s_1,L(n)、s_1,R(n)表示方位角1对应的单声源左、右耳语音信号，h_1,L、h_1,R表示方位角1的左耳HRIR、右耳HRIR，s_2,L(n)、s_2,R(n)表示方位角2对应的单声源左、右耳语音信号，h_2,L、h_2,R表示方位角2的左耳HRIR、右耳HRIR，*为卷积运算，n为采样序号。