[发明专利]基于生成对抗网络的复数域语音增强方法、系统及介质

说明书

本发明公开了一种基于生成对抗网络的复数域语音增强方法、系统及介质，本发明复数域语音增强方法的实施步骤包括：获取带噪声的语音；将语音采用傅里叶变换后再采用笛卡尔坐标表示得到带噪声的实数谱和虚数谱；将带噪声的实数谱和虚数谱输入预先完成训练的生成对抗网络的生成器，得到去除噪声后的纯净语音的实数谱和虚数谱；将纯净语音的实数谱和虚数谱基于逆傅里叶变换生成干净的语音。本发明能够从语音信号中更好地剔除噪声、生成干净的语音，有效解决相位难以预测的问题，能够有效提高增强后语音的听觉效果，可有效提高语音识别系统在噪声环境下的语音识别准确率。

技术领域

本发明涉及基于生成对抗网络的语音降噪增强技术，具体涉及一种基于生成对抗网络的复数域语音增强方法、系统及介质，可利用语音信号傅里叶变换后的实数谱和虚数谱对语音信号进行增强，从而促进语音识别等相关下游任务的研究。

背景技术

语音增强(Speech Enhancement,SE)指从带噪声的语音y中去除噪声z,从而分离出纯净语音x,即x＝y-z。从混合的语音信号中去除噪声是语音信号处理中最具挑战的任务之一，传统的语音增强算法包括谱减法、子空间法和维纳滤波法。近年来，基于深度学习的语音增强技术极大地提高了去噪后语音的质量。

在一般的语音信号处理方法中，语音首先通过短时傅里叶变换得到语音的时频(Time-Frequency,TF)表示，从而获取幅度谱和相位谱。在之前的语音增强方法中认为相位不包含重要的信息，因此只对幅度增强，在后面利用逆傅里叶变换对增强后的语音进行重构时往往利用的是带噪声语音的相位，因此会出现相位不匹配的问题。近年来，研究者发现相位对增强后的语音的听觉效果有很大的作用，特别是在信噪比比较小的情况下，因此许多研究者致力于相位估计算法的研究。由于相位的值域为[-π,π]，所以整个相位谱看起来非常随机，并没有清晰的结构，基于深度学习的方法估计相位谱是非常困难的。

近年来，生成对抗网络(Generative Adversarial Networks，GAN)在生成任务上取得极大成功，一些研究者也开始着手用生成对抗网络来进行语音增强。生成对抗网络包含两部分：生成器(Generator，G)和判别器(Discriminator,D)，生成器将带噪声的样本映射到感兴趣分布的样本，D作为一个二元分类器判定真实的样本为真而将生成器生成的样本为假。生成器和判别器对抗地训练，生成器生成的样本尽量服从真实分布来迷惑判别器以使判别器判断其为真，而判别器尽量将真实的样本和生成的样本分开，在这不断的博弈过程中直至达到纳什均衡，此时生成器生成的样本已经非常接近真实的样本，判别器无法判断生成的样本是真实的还是生成的。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于生成对抗网络的复数域语音增强方法、系统及介质，本发明能够从语音信号中更好地剔除噪声、生成干净的语音，有效解决相位难以预测的问题，能够有效提高增强后语音的听觉效果，促进语音识别，声纹识别等任务的研究。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于生成对抗网络的复数域语音增强方法，实施步骤包括：

1)获取带噪声的语音；

2)将语音采用傅里叶变换后再采用笛卡尔坐标表示得到带噪声的实数谱R和虚数谱I；

3)将带噪声的实数谱R和虚数谱I输入预先完成训练的生成对抗网络的生成器，通过生成器的编码器Encoder将实数谱R和虚数谱I组成的输入IR编码为高语义特征Encoder_IR；高语义特征Encoder_IR经过生成器的自注意力机制层self-attention输出具有全局信息的特征S_IR；通过生成器的解码器Decoder将特征S_IR解码得到增强后纯净语音的实数谱和虚数谱IR′；

4)将增强后纯净语音的实数谱和虚数谱IR′基于逆傅里叶变换生成干净的语音。