[发明专利]一种基于FirePS卷积神经网络的语音增强方法

说明书

本发明公布了一种基于FirePS卷积神经网络的语音增强方法。本发明对含噪单通道语音信号进行短时傅里叶变换，提取对数幅度谱图，作为FirePS卷积神经网络的输入特征进行语音增强。训练阶段，使用训练集语音数据的对数幅度谱图训练FirePS卷积网络，输出增强语音的对数幅度谱图，将训练语音对应的纯净对数幅度谱图作为标签，训练得到基于卷积神经网络的语音增强模型。FirePS卷积神经网络由Fire块、空洞卷积网络块、像素重排块和残差连接构成。测试阶段，FirePS卷积神经网络将测试含噪语音的对数幅度谱图映射为降噪后的对数幅度谱图，结合原测试语音的相位谱，得到增强后的语音时域信号。

技术领域

本发明属于语音信号降噪领域，尤其涉及一种基于FirePS卷积神经网络的语音增强方法。

背景技术

用于提高感知质量的实时语音增强(SpeechEnhancement：SE)是一个具有数十年历史的经典问题，近年来基于学习(LearningBased)的方法获得了远超传统方法的突出结果。根据其训练目标的不同，语音增强分为三类算法：基于掩膜(masking-based)的时频域算法、基于映射(Mapping-based)的时频域算法、基于时域波形的端到端(endtoend)算法。

神经网络是一种近年来十分活跃且效果优异的统计学习方法。大量的神经网络结构，如卷积神经网络(CNN)、循环神经网络(RNN)、注意力(attention)网络等已经应用于语音增强领域。传统的CNN、RNN模型的感受野不足，限制了模型对时序信号的建模能力。注意力网络的建模能力很强，但参数量大、计算量大，限制了其使用范围。因此，语音增强这一研究领域依然需要开展大量、深入的研究工作，从而满足日益增长的高质量语音应用需求。本发明旨在增大传统卷积神经网络的感受野，减少神经网络的参数量，以解决现有技术中对语音信号这一时序信号的建模能力不足的问题，同时减少计算量、缩短模型所须的计算时间。

发明内容

本发明目的在于提供一种基于FirePS卷积神经网络的语音增强方法,旨在解决现有技术中对语音信号这一时序信号的建模能力不足的问题，同时减少计算量、缩短模型推理所须的计算时间。为解决上述技术问题，本发明的具体技术方案如下：

一种基于FirePS卷积神经网络的语音增强方法，包括以下步骤：

步骤1、将待训练的单通道语音信号与各种加性噪声按不同信噪比混合，得到含噪语音，并与纯净语音一起构成训练数据集；

步骤2、将步骤1得到的训练数据集中的含噪语音和纯净语音，分别通过分帧、加窗、短时傅里叶变换和对数运算，得到含噪语音、纯净语音对应的对数幅度谱图；

步骤3、将步骤2的含噪语音、纯净语音的对数幅度谱图，分别作为FirePS卷积神经网络的输入特征和标签，基于前向传播和反向传播算法，训练FirePS卷积神经网络；

步骤4、将待测试的单通道信号与各种加性噪声按不同信噪比混合，得到测试数据集，并通过分帧、加窗、短时傅里叶变换和对数运算，得到测试语音的对数幅度谱图和相位谱图；

步骤5、取步骤4得到测试语音对数幅度谱图，作为FirePS卷积神经网络的输入特征，映射得到增强后语音的对数幅度谱图，转换为幅度谱，根据步骤4得到测试信号的相位谱图，得到增强后语音信号的频谱，通过短时傅里叶逆变换和重叠相法得到时域波形，实现语音增强。

进一步的，FirePS卷积神经网络的结构由实现下采样编码的Fire块、提取特征的空洞卷积网络块、实现上采样的像素重排块组成，同时在对应的下采样编码的Fire块和实现上采样的像素重排块之间使用残差连接。

进一步的，FirePS卷积神经网络使用Fire块实现下采样编码，Fire块由一个卷积核为1*1尺寸的压缩卷积层、两个并联的卷积核尺寸分别为1*1和3*3的膨胀卷积层串联而成。