[发明专利]语音增强模型的训练及应用方法、装置、设备及存储介质

权利要求书

1.一种语音增强模型的训练方法，其特征在于，包括：

将干净语音模拟加噪得到带噪语音，根据所述干净语音和所述带噪语音确定目标时频掩码；

对所述带噪语音提取带噪梅尔频谱特征，将所述带噪梅尔频谱特征输入所述语音增强模型，输出预测时频掩码，并根据所述预测时频掩码与所述目标时频掩码确定第一损失值；

根据所述预测时频掩码与所述带噪梅尔频谱特征得到去噪梅尔频谱特征，将所述去噪梅尔频谱特征输入声码器得到合成语音，并根据所述合成语音与所述干净语音确定第二损失值；

根据所述第一损失值和所述第二损失值优化所述语音增强模型和所述声码器的参数，得到训练好的语音增强模型。

2.根据权利要求1所述的语音增强模型的训练方法，其特征在于，所述方法包括：

将第一损失值与第一预设权重相乘得到加权后的第一损失值；

将第二损失值与第二预设权重相乘得到加权后的第二损失值；

将所述加权后的第一损失值和所述加权后的第二损失值求和确定总损失值；

根据所述总损失值优化所述语音增强模型和所述声码器的参数，得到训练好的语音增强模型。

3.根据权利要求1所述的语音增强模型的训练方法，其特征在于，所述根据所述合成语音与所述干净语音确定第二损失值包括：

将所述干净语音和所述合成语音转换到梅尔频谱域，根据均方误差损失函数计算所述干净语音和所述合成语音在梅尔频谱域的均方误差值，得到所述第二损失值。

4.根据权利要求1所述的语音增强模型的训练方法，其特征在于，所述时频掩码包括如下至少一种：

理想二值掩码、理想浮值掩码、幅度谱掩码、相位敏感掩码、以及复数理想浮值掩码。

5.根据权利要求1-4任一项所述的语音增强模型的训练方法，其特征在于，包括：

所述语音增强模型基于深度神经网络训练得到的；

所述声码器为可训练的基于深度神经网络的声码器，其中，所述可训练的基于深度神经网络的声码器包括：WaveNet、WaveRNN。

6.一种语音增强模型的应用方法，其特征在于，所述语音增强模型是根据权利要求1-5中任一项所述的方法训练得到的，所述应用方法包括：

对待增强的带噪语音提取带噪梅尔频谱特征，并将所述带噪梅尔频谱特征输入训练好的语音增强模型，输出预测时频掩码；

根据所述预测时频掩码与所述带噪梅尔频谱特征得到去噪梅尔频谱特征，将所述去噪梅尔频谱特征输入声码器得到合成语音。

7.一种语音增强模型的训练装置，其特征在于，包括：

目标时频掩码确定模块，用于将干净语音模拟加噪得到带噪语音，根据所述干净语音和所述带噪语音确定目标时频掩码；

第一损失值确定模块，用于对所述带噪语音提取带噪梅尔频谱特征，将所述带噪梅尔频谱特征输入所述语音增强模型，输出预测时频掩码，并根据所述预测时频掩码与所述目标时频掩码确定第一损失值；

第二损失值确定模块，用于根据所述预测时频掩码与所述带噪梅尔频谱特征得到去噪梅尔频谱特征；将所述去噪梅尔频谱特征输入声码器得到合成语音，并根据所述合成语音与所述干净语音确定第二损失值；

模型输出模块，用于根据所述第一损失值和所述第二损失值优化所述语音增强模型和所述声码器的参数，得到训练好的语音增强模型。

8.一种语音增强的应用装置，其特征在于，所述语音增强模型是根据权利要求1-5中任一项所述的方法训练得到的，所述应用装置包括：

时频掩码预测模块，用于对待增强的带噪语音提取带噪梅尔频谱特征，并将所述带噪梅尔频谱特征输入训练好的语音增强模型，输出预测时频掩码；

语音增强模块，用于根据所述预测时频掩码与所述带噪梅尔频谱特征得到去噪梅尔频谱特征，将所述去噪梅尔频谱特征输入声码器得到合成语音。