[发明专利]语音增强模型的训练及应用方法、装置、设备及存储介质

说明书

本申请涉及人工智能语音增强领域，具体公开了语音增强模型的训练及应用方法、装置、设备及存储介质，通过将语音增强模型和声码器联合建模，得到了失真度小、拥有降噪能力的语音增强模型。方法包括：将干净语音模拟加噪得到带噪语音，根据干净语音和带噪语音确定目标时频掩码。对带噪语音提取带噪梅尔频谱特征并将其输入语音增强模型，输出预测时频掩码，根据预测时频掩码与目标时频掩码确定第一损失值。根据预测时频掩码与带噪梅尔频谱特征得到去噪梅尔频谱特征；将去噪梅尔频谱特征输入声码器得到合成语音，并根据合成语音与干净语音确定第二损失值。根据第一损失值和第二损失值优化语音增强模型和声码器的参数，得到训练好的语音增强模型。

技术领域

本申请涉及人工智能语音增强领域，尤其涉及一种语音增强模型的训练方法、应用方法、装置、计算机设备及存储介质。

背景技术

语音合成技术已经能生成比较接近人声的语音，但是要建立一个高质量的语音合成系统，需要高质量语音训练数据。而高质量的语音数据通常需要在配备高端录音设备且混响和底噪非常低的消声室中录制。所以高质量语音数据的录制会耗费大量的成本，而如果在普通的室内环境录制，底噪和其他环境噪声以及混响都会被录音设备采集甚至放大。如果使用当前主流的深度神经网络的方法进行语音增强的话，往往会造成较大失真，使音频或者声学特征在进行语音合成模型训练之前就遭受较大的信息丢失。

发明内容

本申请提供了一种语音增强模型的训练方法、装置、计算机设备及存储介质，通过将语音增强模型和声码器联合建模以使语音增强模型能够直接针对语音合成任务进行收敛，得到了失真度小、拥有降噪能力的语音增强模型。

第一方面，本申请提供了一种语音增强模型的训练方法，所述方法包括：

将干净语音模拟加噪得到带噪语音，根据所述干净语音和所述带噪语音确定目标时频掩码；

对所述带噪语音提取带噪梅尔频谱特征，将所述带噪梅尔频谱特征输入所述语音增强模型，输出预测时频掩码，并根据所述预测时频掩码与所述目标时频掩码确定第一损失值；

根据所述预测时频掩码与所述带噪梅尔频谱特征得到去噪梅尔频谱特征；将所述去噪梅尔频谱特征输入声码器得到合成语音，并根据所述合成语音与所述干净语音确定第二损失值；

根据所述第一损失值和所述第二损失值优化所述语音增强模型和所述声码器的参数，得到训练好的语音增强模型。

第二方面，本申请还提供了一种语音增强模型的应用方法，所述应用方法包括：

对待增强的带噪语音提取带噪梅尔频谱特征，并将所述带噪梅尔频谱特征输入训练好的语音增强模型，输出预测时频掩码；

根据所述预测时频掩码与所述带噪梅尔频谱特征得到去噪梅尔频谱特征，将所述去噪梅尔频谱特征输入声码器得到合成语音。

第三方面，本申请还提供了一种语音增强模型的训练装置，所述训练装置包括：

目标时频掩码确定模块，用于将干净语音模拟加噪得到带噪语音，根据所述干净语音和所述带噪语音确定目标时频掩码；

第一损失值确定模块，用于对所述带噪语音提取带噪梅尔频谱特征，将所述带噪梅尔频谱特征输入所述语音增强模型，输出预测时频掩码，并根据所述预测时频掩码与所述目标时频掩码确定第一损失值；

第二损失值确定模块，用于根据所述预测时频掩码与所述带噪梅尔频谱特征得到去噪梅尔频谱特征；将所述去噪梅尔频谱特征输入声码器得到合成语音，并根据所述合成语音与所述干净语音确定第二损失值；

模型输出模块，用于根据所述第一损失值和所述第二损失值优化所述语音增强模型和所述声码器的参数，得到训练好的语音增强模型。

第四方面，本申请还提供了一种语音增强模型的应用装置，所述应用装置包括：