[发明专利]一种语音增强网络的训练方法、装置及电子设备

说明书

本申请实施例提供了一种语音增强网络的训练方法、装置及电子设备，涉及语音处理技术领域，用以在抑制音频中的平稳噪声的同时，抑制音频中的非平稳噪声。该方法包括：获取训练样本集，所述训练样本集中包括加噪音频数据和无噪音频数据；提取所述训练样本集中第i个加噪音频帧的第一特征数据；根据所述第i个加噪音频帧的第一特征数据以及所述第i‑1个加噪音频帧的第二特征数据，针对所述第i个加噪音频帧在所述第i个加噪音频帧包括的M个子频带上分别执行去噪操作得到第i个第一去噪音频帧；根据所述第i个第一去噪音频帧与所述第i个加噪音频帧对应的无噪音频帧的第一损失值调整所述语音增强网络的网络参数。

技术领域

本申请涉及语音处理技术领域，特别涉及一种语音增强网络的训练方法、装置及电子设备。

背景技术

在虚拟现实(Virtual Reality，VR)或增强现实(Augmented Reality，AR)设备当中，声音信息是除视频信息之外较大程度影响用户沉浸感体验的另一重要信息。特别是在具有通话功能或语音交互功能的VR/AR设备中，声音信息的质量就显得尤为重要，高质量的语音增强技术既能显著提升用户体验，也能为空间音频技术提供更好的基础。此外，在会议通话的场景下，由于超远距离的拾音通常具备信噪比低的特点，也即语音的能量通常低于环境底噪，也就使得高性能的远距离拾音成为了目前的会议通话系统中的技术难点。

基于上述场景，如何提升降噪能力成为了现有技术的主要研究方向。但现有技术中对于冲击噪声等非平稳噪声的抑制能力通常不是很理想，也即，现有技术中缺少一种既可以抑制平稳噪声又能抑制非平稳噪声的方法。

发明内容

本申请实施例提供了一种语音增强网络的训练方法、装置及电子设备，用以在抑制音频中的平稳噪声的同时，抑制音频中的非平稳噪声。

第一方面，本申请实施例提供了一种语音增强网络的训练方法，包括：

获取训练样本集，所述训练样本集中包括加噪音频数据和无噪音频数据，所述加噪音频数据是在所述无噪音频数据中添加噪声后得到的；所述无噪音频数据包括N个无噪音频帧，所述加噪音频数据包括与N个无噪音频帧一一对应的N个加噪音频帧；N为正整数；提取所述训练样本集中第i个加噪音频帧的第一特征数据，所述第一特征数据用于描述所述第i个加噪音频帧的频谱特征；i为小于或等于N的正整数；根据所述第i个加噪音频帧的第一特征数据以及所述第i-1个加噪音频帧的第二特征数据，针对所述第i个加噪音频帧在所述第i个加噪音频帧包括的M个子频带上分别执行去噪操作得到第i个第一去噪音频帧；所述第二特征数据是通过所述语音增强网络针对第i-1个加噪音频帧执行去噪操作过程中得到的；所述第二特征数据用于描述所述第i-1个加噪音频帧的M个子频带中每个子频带与其它M-1个子频带的特征相关性，M为正整数；根据所述第i个第一去噪音频帧与所述第i个加噪音频帧对应的无噪音频帧的第一损失值调整所述语音增强网络的网络参数。

基于上述方案，由于第一特征数据用于描述所述第i个加噪音频帧的频谱特征，因此利用第i个加噪音频帧的第一特征数据可以更好地保留语音信号。在第i个加噪音频帧的M个子频带上分别执行去噪操作可以抑制第i个加噪音频帧的中的平稳噪声。由于第二特征数据第i-1个加噪音频帧的M个子频带中每个子频带与其它M-1个子频带的特征相关性，可以使得每个子频带输出的特征数据都包含其余子频带对该子频带的重要全局信息，因此利用前一帧的第二特征数据，可以在抑制平稳噪声的同时，抑制跨越多个频段的非平稳噪声。