[发明专利]语音增强模型的训练方法和装置及语音增强方法和装置

说明书

本公开关于一种语音增强模型的训练方法和装置及语音增强方法和装置，语音增强模型包括噪声掩膜比预测网络和噪声类型判别网络，训练方法包括：获取含噪语音样本，含噪语音样本由说话人语音样本与至少一种场景噪声数据混合而成；将至少一种场景噪声数据中的参考场景噪声数据输入噪声类型判别网络，得到参考场景噪声数据的噪声类型特征，参考场景噪声数据为期望去除的场景噪声数据；将含噪语音样本的幅度谱和噪声类型特征输入噪声掩膜比预测网络，得到参考场景噪声数据的估计的噪声掩膜比；基于估计的噪声掩膜比和噪声类型特征，计算损失函数；通过计算出的损失函数调整噪声掩膜比预测网络和噪声类型判别网络的参数，对语音增强模型进行训练。

技术领域

本公开涉及音频技术领域，更具体地说，涉及一种语音增强模型的训练方法和装置及语音增强方法和装置。

背景技术

嘈杂的环境会影响人们在语音沟通中的效果，在当前的主流通讯软件中，通常采用不同语音增强算法实现对通话过程中含噪音频进行处理，传统方法可以实现对稳态噪声的处理，优点是运算复杂度低，深度学习方法通常用来去除瞬态噪声，效果较传统方法要好，但是运算复杂度高。然而，普通的语音增强算法会去除场景中的全部噪声只保留人声，但是在不同场景下，人们需要去除的噪声类型是不同的，因此，普通的语音增强算法无法实现针对特定场景下的语音增强。

发明内容

本公开提供一种语音增强模型的训练方法和装置及语音增强方法和装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。

根据本公开实施例的第一方面，提供一种语音增强模型的训练方法，所述语音增强模型包括噪声掩膜比预测网络和噪声类型判别网络，所述训练方法包括：获取含噪语音样本，其中，所述含噪语音样本由说话人语音样本与至少一种场景噪声数据混合而成；将所述至少一种场景噪声数据中的参考场景噪声数据输入所述噪声类型判别网络，得到所述参考场景噪声数据的噪声类型特征，其中，所述参考场景噪声数据为所述至少一种场景噪声数据之中的期望去除的场景噪声数据，所述语音增强模型用于获得从所述含噪语音样本去除所述参考场景噪声数据之后得到的估计的语音增强信号；将所述含噪语音样本的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，其中，所述噪声掩膜比表示所述参考场景噪声数据的幅度谱与所述含噪语音样本的幅度谱的比值；基于所述参考场景噪声数据的估计的噪声掩膜比和所述参考场景噪声数据的噪声类型特征，计算损失函数；通过计算出的损失函数调整所述噪声掩膜比预测网络和所述噪声类型判别网络的参数，对所述语音增强模型进行训练。

可选地，所述将所述含噪语音样本的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，可包括：将所述含噪语音样本的幅度谱和所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比。

可选地，所述将所述含噪语音样本的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，可包括：将所述含噪语音样本的幅度谱输入所述噪声掩膜比预测网络中的一部分网络，得到所述含噪语音样本的幅度谱的局部特征；将所述局部特征与所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络中的另一部分，得到所述参考场景噪声数据的估计的噪声掩膜比。

可选地，所述噪声掩膜比预测网络可为包括卷积神经网络和循环神经网络的卷积循环神经网络。

可选地，所述噪声掩膜比预测网络中的一部分网络可为所述卷积循环神经网络中的卷积神经网络，所述噪声掩膜比预测网络中的另一部分网络可为所述卷积循环神经网络中的循环神经网络。