[发明专利]一种基于时频域联合损失函数的语音增强方法

说明书

本发明提出了一种基于时频域联合损失函数的语音增强方法。本发明将开源数据集中干净语音数据集与噪声数据集合成带噪语音数据集，通过预处理操作转换为幅度谱与相位谱以及波形数据，构建训练集。构建CNN网络模型，将带噪语音幅度谱作为输入，将干净语音幅度谱作为标签，进行模型训练。将模型输出的幅度谱估计值与带噪语音相位谱通过逆短时傅里叶变换方法进行波形重构，获得估计语音的时域波形；通过干净语音幅度谱与幅度谱估计值计算频域损失；通过干净语音时域波形与估计语音时域波形计算时域损失；根据频域损失、时域损失构建时频域联合损失，指导CNN网络模型进行权值优化。本发明减少了估计幅度谱与相位谱不匹配的现象，提升了语音增强的效果。

技术领域

本发明涉及语音增强领域，特别涉及一种基于时频域联合损失函数的语音增强方法。

背景技术

语音通信是人与人、人与机器之间最便捷的信息交互方式。然而，不管在什么环境下，语音通信或多或少的被周围环境噪声所干扰。语音增强技术是解决语音交互过程中噪声影响的有效途径。语音增强的目的是尽可能的从背景噪声中提取出干净的语音信号，消除环境噪声，提高语音质量和语音可懂度。

近年来，人工智能技术的热度居高不下，语音增强技术也得到了飞速的发展，各种语音增强技术层出不穷。这些语音增强方案主要分为：传统语音增强方案和基于深度学习的语音增强方案。

传统语音增强方案主要包括：谱减法、基于统计模型的增强算法和子空间增强算法。谱减法假设噪声为加性噪声，然后从带噪语音的语音谱中减去对噪声谱的估计，最后的到干净语音。维纳滤波算法和最小均方误差算法是基于统计模型增强算法的代表，相对于谱减法，维纳滤波法算法处理后的语音信号中的残留噪声类似白噪声，听觉上让人更加舒适。最小均方误差算法利用语音信号的短时频谱振幅在感知中的重要作用，并利用最小均方误差的短时频谱振幅估计器来增强带噪语音。子空间增强算法主要源自于线性代数理论，其原理是在欧式空间中，纯净信号的分布局限在带走按信号的子空间中。所以只要将带噪信号的向量空间分解到两个子空间就可以完成语音增强的任务。

传统的语音增强算法大多假设语音信号是平稳的。但是，在现实生活中，这种假设条件根本无法满足。基于深度学习的语音增强算法以其强大的非线性拟合能力能有效解决这个问题。根据训练目标的不同，基于深度学习的语音增强算法可以分为两类：一是基于掩模的增强网络，二是基于映射的增强网络。基于掩模的增强网络是将理想比例掩模或者相位掩模等作为神经网络的训练目标。基于映射的增强网络利用神经网络的拟合能力，将带噪语音的对数谱或者功率谱直接映射到干净语音的功率谱。根据网络模型的不同，基于深度学习的语音增强网络可以分为DNN增强网络、CNN增强网络、RNN增强网络和GAN增强网络。

其中，对语谱图的特征处理是基于深度学习语音增强网络的关键。所以，CNN网络较其他网络模型更契合语音增强任务。

本申请发明人在实施本发明过程中，发现现有技术方法至少存在以下和技术问题：

语音增强网络通常使用带噪语音幅度谱生成估计语音的幅度谱，同时使用带噪语音的相位谱进行波形重构，这种方法会造成幅度谱与相位谱的不匹配的情况。语音增强算法通常会作为语音识别的前端模块，其效果极大影响着识别系统的表现。而幅度谱与相位谱不匹配的问题会对语音信号的特征信息，例如梅尔频率倒谱系数(Mel FrequencyCepstrum Coefficient,MFCC)造成破坏，从而影响语音识别的准确率。

由此可见，现有技术的方法中，作为语音识别前端模块的语音增强方法还存在缺陷，解决语音增强相位失配的问题具有重要的实际意义。

发明内容