[发明专利]一种端到端的骨气导语音联合增强方法

说明书

本发明公开了一种端到端的骨气导语音联合增强方法，首先同步录制气导语音和骨导语音，添加环境噪声后构造数据集；接下来构建端到端的神经网络模型，包括编码器、掩膜估计器和解码器；通过神经网络模型将带噪声的气导语音和骨导语音转化为一个单通道的语音信号；使用训练集和验证集的数据用Adam优化器对端到端的神经网络模型进行训练，直到SI‑SNR的值不再增大时，停止训练，得到最终端到端的神经网络模型。本方法相比传统的只利用气导的语音信号或者单纯骨导语音进行增强，联合增强的语音质量和可懂度都有大幅的提升，同时语音识别的错误率也显著下降。

技术领域

本发明属于电子信息技术领域，具体涉及一种语音联合增强方法。

背景技术

语音增强旨在改善带噪语音的质量和可懂度，被广泛应用于各类语音系统的前端。近年来，由于深度学习的兴起，基于深度学习的语音增强日益受到关注，包括谱映射方法，时频掩膜方法和近一两年的端到端的时域增强方法。然而目前这些基于深度学习的语音增强方法均只使用了气导语音。

骨导麦克风通过拾取头骨等人体部位的振动信号来获得音频信号。与传统的气导语音相比，骨传导语音不会拾取环境中的噪声，因而可以从声源处屏蔽噪声，实现低信噪比下的语音通信。然而，骨导语音自身也存在许多缺点。首先，由于人体组织的低通性，骨传导语音的高频部分衰减严重，甚至缺失。通常大于800Hz的频率成分就已经十分微弱，大于2kHz的部分基本完全丢失，使得骨导语音听起来十分沉闷，可懂度降低。其次，骨导语音会引入一定的非声学干扰，说话时麦克风与皮肤的摩擦，人体运动等，进一步影响了骨导语音。最后，由于骨传导的特性，语音中的清音，摩擦音等辅音严重丢失。

骨传导语音的用法可以分为两类。一类就是用骨传导麦克风直接替换到原来系统中的气导麦克风，然后对骨传导的语音进行带宽扩展，这也被称为骨导语音的盲增强。这类方法主要设计一个模型，实现从骨导语音到气导语音的映射，包括线性表示，重构滤波器，高斯混合模型和深度神经网络。然而，这类工作大多侧重于扩展骨传导语音的带宽，而忽略了骨导自身的各类噪声。另一类方法则将骨导语音作为一个辅助的信号用来提升语音增强的性能。2004年，微软研究院首先提出同时使用骨传导和气导语音进行联合语音增强。在随后的几年里，有不少类似的工作，但是这些方法都是基于传统的信号处理方法。目前为止，还没有基于端到端深度学习的骨气导语音增强的工作。

发明内容

为了克服现有技术的不足，本发明提供了一种端到端的骨气导语音联合增强方法，首先同步录制气导语音和骨导语音，添加环境噪声后构造数据集；接下来构建端到端的神经网络模型，包括编码器、掩膜估计器和解码器；通过神经网络模型将带噪声的气导语音和骨导语音转化为一个单通道的语音信号；使用训练集和验证集的数据用Adam优化器对端到端的神经网络模型进行训练，直到SI-SNR的值不再增大时，停止训练，得到最终端到端的神经网络模型。本方法相比传统的只利用气导的语音信号或者单纯骨导语音进行增强，联合增强的语音质量和可懂度都有大幅的提升，同时语音识别的错误率也显著下降。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：在无噪声环境下同步录制气导语音x_a和骨导语音x_b；给气导语音x_a添加环境噪声，得到其中为带噪声的气导语音，n_a为环境噪声；构建数据集再将数据集划分为训练集、验证集和测试集；

步骤2：将训练集的语音数据按固定长度切割为多个小段语音；

步骤3：构建端到端的神经网络模型，所述神经网络模型包括编码器E、掩膜估计器M和解码器；

步骤3-1：所述编码器E由一维卷积构成，编码器E的输入为经过步骤2切割的数据通过编码器E将带噪声的气导语音和骨导语音x_b转化到同一个特征空间中，输出得到特征图编码器E的输入通道为2，输出通道数与编码器E的一维卷积的卷积核的数量相同；