[发明专利]一种基于WaveNet的骨导语音增强波形生成方法

说明书

本发明公开了一种基于WaveNet的骨导语音增强波形生成方法。该方法在基于BLSTM模型的骨导语音幅度谱增强基础上，采用WaveNet模型生成高质量语音。首先构建BLSTM模型和WaveNet模型，WaveNet模型中引入了跨采样率的上采样模块，并对两个模型分别进行训练；然后将待增强的低采样率下骨导语音幅度谱送入训练好的BLSTM模型中得到增强的幅度谱，再联合骨导语音相位信息送入训练好的WaveNet模型中，得到增强的高采样率下语音波形。本发明有效利用了骨导语音相位信息并且拥有频谱扩展功能，能够从增强的骨导语音幅度谱以及骨导语音相位信息直接生成增强的高采样率语音波形，显著提升了骨导语音的质量。

技术领域

本发明涉及骨传导技术领域，特别是一种基于WaveNet的骨导语音增强波形生成方 法。

背景技术

骨导麦克风利用人发声时头骨、喉头等身体部位产生的振动获取语音信号骨导语音， 由于其信号传输通道屏蔽了周围环境噪声的影响，相比于传统的空气传导麦克风产生的 语音，即气导语音具有很强的抗噪性能，在军事与民用领域都有广泛的应用前景。但是，由于人体信号传导的低通性，骨导语音高频成份衰减严重，频率成份通常在2.5kHz以 下，并且由于振动产生的电声信号不经过口腔、鼻腔、唇等声音“调音”区域，与这些 区域相关的摩擦音、爆破音、清音等辅音音节丢失严重，因此骨导语音听起来沉闷、不 清晰、不自然，且可懂度较低。

骨导语音增强是指对骨导语音进行处理，以提高语音质量，可建模为从骨导语音到 对应纯净气导语音的转换问题。早期算法通常基于语音信号的源-滤波器模型，将语音分解为谱包络特征和激励特征。相比于激励特征，人耳对谱包络特征更为敏感，因此研 究重点更关注骨导语音到气导语音低维谱包络的转换，利用高斯混合模型或者浅层神经 网络学习特征之间的转换关系。近年来，随着深度学习技术的快速发展，深度神经网络 开始被用于更准确地学习两种语音谱包络特征之间的非线性转换关系，并且由于深度神 经网络对高维数据具有很好的表征能力，开始有学者用高维短时傅里叶(Short-Time FourierTransform，STFT)谱更好表征两种语音之间的差距，例如文献1(Liu H P,Tsao Y,Fuh C S,“Bone-conducted speech enhancement using deep denoising autoencoder,” SpeechCommunication,vol.104,pp.106-112,2018)利用深度网络学习两种语音高维梅尔 谱特征之间的转换。在前期工作中，文献2(Changyan Zheng,Xiongwei Zhang,Meng Sun, JibinYang,Yibo Xing,“A Novel Throat Microphone Speech Enhancement Framework basedon Deep BLSTM Recurrent Neural Networks,”in Proc.IEEE InternationalConference on Computer and Communications(ICCC),2018)提出了基于双向长短时记忆(Bi-direction Long Short-Term Memory，BLSTM)递归神经网络的骨导语音增强方法，利用语音帧的 上下文关系建模骨导语音到对应气导语音高维STFT幅度谱的转换关系，有效提高了骨 导语音增强质量。