[发明专利]一种基于信息蒸馏与聚合的低信噪比语音增强方法

说明书

本发明提供一种基于信息蒸馏与聚合的低信噪比语音增强方法，包括步骤：将原始语谱图进行语音特征提取得到语音信息表示；对语音信息表示进行多阶段信息蒸馏处理得到过滤噪声成分之后的语音信息蒸馏结果；将语音信息蒸馏结果进行语谱图重建。根据注意力机制和信息蒸馏机制形成的多阶段信息蒸馏处理过程中每一时刻的信息蒸馏线上的校准后信息将作为下一时刻自注意力信息处理子模块的输入，通过N个注意力信息处理子模块与N个信息蒸馏子模块顺序的信息蒸馏与重新校准，最终实现噪声成分过滤的效果。本发明能够适应不同环境下的语音特征提取，使模型能够适应不同噪声的声学特征，显著提升语音增强的效果。

技术领域

本发明涉及语音增强与语音降噪技术。

背景技术

语音增强旨在通过分离语音和噪声成分来提高语音信号的可懂度和清晰度，对自动语音识别技术、助听器、移动设备等产业产生巨大影响，从而受到了极大的关注；近些年得益于深度学习的进步，业界内有关语音增强的研究显著增加，大量基于深度学习的方法实现了干净语音与噪声有效分离。

多层的深度神经网络DNN被用于从带噪对数功率谱到干净语音的非线性映射来对语音进行增强，证明了深度神经网络在语音增强任务上的有效性；与基于DNN的模型相比，卷积神经网络CNN由于其参数共享机制在参数更少的情况下获得了很好的性能。CNN在语音增强中有多种用处，包括使用冗余卷积编解码器模型来映射干净语音信号及使用基于CNN的模型来估算干净语音的复数谱图；CNN和递归神经网络RNN的联合使用可以充分利用CNN的特征提取能力和RNN的时间建模能力；另外，有关学者还提出了带有门控和残差机制的扩张卷积模型以提高泛化能力。

受UNet结构在医学图像处理领域的影响，越来越多的工作尝试于将UNet架构引入语音增强领域。而其中的跳跃连接(skip connections)也被广泛用于直接传递低粒度特征，以更好地重建语音语谱图。尽管跳跃连接被证明可以很好地补充低级特征，其仍然存在以下两个问题。其一，模型底层的降噪能力有限，低信噪比条件下直接将底层的信息补充到高层级在引入细粒度信息的同时也引入了大量的噪声。其二，跳跃连接忽略了低层与高层之间可能存在的语义差异，导致信息融合效率与准确性低。

发明内容

本发明所要解决的技术问题是，针对现有引入UNet架构的语音增强模型由于跳跃连接直接传递低粒度特征到高层级时引入噪声和存在语义差异的问题，提供一种准确性更高的语音增强方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于信息蒸馏与聚合的低信噪比语音增强方法，包括以下步骤：

1)对原始语音信号进行短时傅立叶变换得到原始语谱图；

2)将原始语谱图进行语音特征提取得到语音信息表示；

3)对语音信息表示进行多阶段信息蒸馏处理得到过滤噪声成分之后的语音信息蒸馏结果；蒸馏处理通过N个串行自注意力信息处理子模块与N个串行的信息蒸馏子模块实现，第N个自注意力信息处理子模块的输出信号即为语音信息蒸馏结果：

第t个信息蒸馏子模块的输出信号Y_t为：第t个自注意力信息处理子模块输出的信号X_t为：

其中，t为序号变量，1≤t≤N，X₀和Y₀均为步骤2)输出的语音信息表示；Y_t-1为第t-1个信息蒸馏子模块的输出信号Y_t；X_t-1为第t-1个自注意力信息处理子模块的输出信号；为自注意力信息处理函数，为信息蒸馏处理函数；

其中，⊙代表点乘操作，A_t-1为第t-1个权重矩阵：

其中，σ是Sigmoid激活函数，Conv2和Conv3分别是两个不同卷积核的步长相同的二维卷积层；