[发明专利]基于复空间角中心高斯混合聚类模型和双向长短时记忆网络的波束成形语音分离方法

说明书

本发明公布了一种基于复空间角中心高斯混合聚类模型和双向长短时记忆网络的波束成形语音分离方法。训练阶段，计算参考通道训练语音信号的对数功率谱、参考通道训练语音信号与其余通道训练语音信号之间相位差的正弦和余弦值，作为双向长短时记忆网络的输入特征。基于复空间角中心高斯混合聚类模型，计算各目标声源的掩蔽值，作为双向长短时记忆网络的训练目标，损失函数采用均方误差损失。测试阶段，根据双向长短时记忆网络输出的各目标声源在参考通道测试语音信号中的掩蔽估计值，计算多通道测试语音信号的协方差矩阵并进行广义特征值分解，基于各目标声源预期信噪比增益最大化准则，得到各目标声源的波束成形器系数，从而分离得到各目标声源。

技术领域

本发明属于阵列麦克风语音分离领域，尤其涉及基于复空间角中心高斯混合聚类模型和双向长短时记忆网络的波束成形语音分离方法。

背景技术

“鸡尾酒会问题”是一个具有数十年历史的经典问题，近年来基于学习的方法获得了远超传统方法的突出结果。根据语音数字信号的硬件采集设备的不同，语音分离分为单通道语音分离和多通道语音分离，前者主要依赖于单通道语音本身的时频域特征，而后者更多地考虑各通道语音的空间关系。

机器学习的方法在语音分离中一直受到广泛应用，包括自适应波束形成器的设计、聚类方法等。前者如波束形成器设计中的广义旁瓣抵消算法自适应更新干扰抵消器、自适应的广义特征值分解波束形成器等，后者如基于复高斯混合模型、复沃特森混合模型等混合模型，可使用期望最大化等迭代算法对掩蔽值进行无监督估计。

神经网络是一种近年来十分活跃且效果优异的统计学习方法。大量的神经网络结构，如卷积神经网络、循环神经网络、注意力网络等已经应用于语音分离领域。但语音分离这一研究领域依然需要开展大量、深入的研究工作，传统语音分离算法在高混响、低信噪比的环境下性能下降严重。

发明内容

本发明目的在于提供一种基于复空间角中心高斯混合聚类模型和双向长短时记忆网络的波束成形语音分离方法,针对在噪声、混响干扰环境，在波束形成器的基本框架下，结合麦克风阵列信号的时频域及空间信息，以解决多通道语音的说话人无关语音分离的技术问题。

为解决上述技术问题，本发明的具体技术方案如下：

一种基于复空间角中心高斯混合聚类模型和双向长短时记忆网络的波束成形语音分离方法，该方法包括以下步骤：

步骤1、包含噪声和混响的多通道训练语音信号，通过分帧、加窗、短时傅里叶变换、取对数运算和去混响预处理后，计算参考通道训练语音信号的对数功率谱、参考通道训练语音信号与其余通道训练语音信号之间相位差的正弦与余弦值；

步骤2、利用步骤1计算的参考通道训练语音信号的对数功率谱，基于期望最大化迭代算法，得到训练语音信号基于复空间角中心高斯混合聚类模型参数，估计各目标声源在参考通道训练语音信号中的掩蔽值；

步骤3、将步骤1计算的参考通道训练语音信号的对数功率谱、参考通道训练语音信号与其余通道训练语音信号之间相位差的正弦与余弦值，作为双向长短时记忆网络的输入特征，将步骤2中各目标声源在参考通道训练语音信号的掩蔽值作为双向长短时记忆网络的训练目标，基于均方误差损失函数训练双向长短时记忆网络；

步骤4、包含噪声和混响的多通道测试语音信号，通过分帧、加窗、短时傅里叶变换、取对数运算和去混响预处理后，计算参考通道测试语音信号的对数功率谱、参考通道测试语音信号与其余通道测试语音信号之间相位差的正弦与余弦值，同时短时傅里叶变换得到多通道测试语音信号的相位谱；

步骤5、将步骤4中参考通道测试语音信号的对数功率谱、参考通道测试语音信号与其余通道测试语音信号之间相位差的正弦与余弦值，作为步骤3训练得到的双向长短时记忆网络的输入特征，输出各目标声源在参考通道测试语音信号中的掩蔽值；