[发明专利]一种基于深度学习相位更加友好的语音降噪系统及方法

权利要求书

1.一种基于深度学习相位更加友好的语音降噪系统，其特征在于，包括：

一个对抗网络，其包括一个生成器和一个判别器；

训练所述生成器，其能够接收短时傅里叶变换转换来的带噪语音幅度谱，所述生成器能够将带噪语音幅度谱转换为时频掩膜；

所述生成器通过神经网络估产生估计傅里叶频谱，通过带噪语音相位的短时傅立叶反变换将所述估计傅里叶频谱转变为估计波形；

训练所述判别器，其与所述生成器能够训练平衡；所述生成器和所述判别器之间使用短时傅立叶反变换做从频域转到时域的转换；

所述对抗网络能够接收一个真数据对和一个假数据对；所述真数据对是干净语音波形和噪声语音波形的拼接，所述假数据对是降噪后语音波形和带噪语音波形的拼接；对于所述真数据对，所述判别器输出为1，对于所述假数据对，所述判别器输出为0；

所述生成器的前向过程中使用带噪声语音的相位作为处理后的语音频谱的相位；

在相同的频谱图的幅值的情况下，Griffin-Lim算法无限迭代或时间代价很大的情况下，Griffin-Lim算法能够得到最高分；所述Griffin-Lim算法在客观可理解度所得分数和语音质量知觉评价所能够获得最高分；

通过ISTFT短时傅里叶变换算法和Griffin-Lim算法比较所述语音降噪系统的客观可理解度所得分数和语音质量知觉评价所得分数；同一频谱图经过两个算法得到分数的差值，表示相位对语音降噪系统的影响；所述分数的差值越小代表Griffin-Lim算法对相位失配的补偿越多，效果越好；

通过ISTFT短时傅里叶变换算法和Griffin-Lim算法分别获取时域音频；

所述ISTFT短时傅里叶变换算法获取的时域音频在所述客观可理解度和所述语音质量知觉评价所得分数，与所述Griffin-Lim算法获取的时域音频在客观可理解度和语音质量知觉评价所得分数的相减能够得到一个差值；所述差值越小表示在不增加推理时间的情况下，所述语音降噪系统的降噪效果越好。

2.如权利要求1所述的基于深度学习相位更加友好的语音降噪系统，其特征是，所述生成器包括一个七层卷积网络、一层长短时记忆网络、一个第一层全连接神经网络和一个第二层全连接神经网络；

所述卷积网络、所述长短时记忆网络和所述第一层全连接神经网络的激活函数为Relu函数，所述第二层全连接神经网络的激活函数为sigmoid函数。

3.如权利要求1所述的基于深度学习相位更加友好的语音降噪系统，其特征是，当迭代次数无限时，最小均方差减小到0；

估计的去噪后的语音幅值谱增强，使x(n)是由增强幅值谱恢复的完美语音波形，x(n)的相位将是增强后频谱幅值对应的相位。

4.如权利要求1所述的基于深度学习相位更加友好的语音降噪系统，其特征是，将时频掩膜和对应的带噪语音时频谱相乘得到去噪后语音时频谱；

将去噪后语音时频谱和带噪语音相位做短时傅里叶反变换，转换为时域语音；将时域语音通过参数固定的鉴别器和生成器的损失函数更新生成器的参数，将生成器的模型前向作为语音增强模型。

5.如权利要求4所述的基于深度学习相位更加友好的语音降噪系统，其特征是，计算带噪语音分别与干净语音和去噪后语音的组合起来的数据，将所得数据分别输入到判别器；计算损失更新判别器的参数，之后固定判别器当前的参数。

6.如权利要求1所述的基于深度学习相位更加友好的语音降噪系统，其特征是，所述生成器前向过程中，将带噪语音相位和去噪后语音的频谱一起做istft生成时域语音；

所述生成器的训练损失函数如下：

其中，λ作为超参，λ是用于在不同的噪声环境或者数据集下的不同约束条件。

7.如权利要求1所述的基于深度学习相位更加友好的语音降噪系统，其特征是，将所述干净语音的数据集作为降噪的目标，获得一组包含各种类型噪声的作为噪声集；

将随机噪声片段和干净语音组合成为带噪语音作为系统的输入语音；真数据对即时域的干净语音和时域带噪语音采样后对应的数组连接起来组成的数组。

8.一种基于深度学习相位更加友好的语音降噪方法，其特征在于，包括：

S101，一个对抗网络，其包括一个生成器和一个判别器；

S102，训练所述生成器，其能够接收短时傅里叶变换转换来的带噪语音幅度谱，所述生成器能够将带噪语音幅度谱转换为时频掩膜；

所述生成器通过神经网络估产生估计傅里叶频谱，通过带噪语音相位的短时傅立叶反变换将所述估计傅里叶频谱转变为估计波形；

S103，训练所述判别器，其与所述生成器能够训练平衡；所述生成器和所述判别器之间使用短时傅立叶反变换做从频域转到时域的转换；

所述对抗网络能够接收一个真数据对和一个假数据对；所述真数据对是干净语音波形和噪声语音波形的拼接，所述假数据对是降噪后语音波形和带噪语音波形的拼接；对于所述真数据对，所述判别器输出为1，对于所述假数据对，所述判别器输出为0；

S104，所述生成器的前向过程中使用带噪声语音的相位作为处理后的语音频谱的相位；

S105，Griffin-Lim算法在无限迭代的情况下，能够得到最高分；所述Griffin-Lim算法在客观可理解度所得分数和语音质量知觉评价所能够获得最高分；

S106，通过ISTFT算法和Griffin-Lim算法比较语音降噪系统的客观可理解度所得分数和语音质量知觉评价所得分数；

ISTFT算法和Griffin-Lim算法的分数差值越小代表，所述语音降噪系统对带噪语音相位不匹配的弥补越多即降噪算法越好；

通过ISTFT短时傅里叶变换算法和Griffin-Lim算法分别获取时域音频；

所述ISTFT短时傅里叶变换算法获取的时域音频在所述客观可理解度和所述语音质量知觉评价所得分数，与所述Griffin-Lim算法获取的时域音频在客观可理解度和语音质量知觉评价所得分数的相减能够得到一个差值；所述差值越小表示在不增加推理时间的情况下，所述语音降噪系统的降噪效果越好。