[发明专利]音频修复方法、装置及电子设备和计算机可读存储介质

权利要求书

1.一种音频修复方法，其特征在于，包括：

获取待处理音频，提取所述待处理音频的时域特征和频域特征；

对所述待处理音频的空白频域部分进行标记得到所述待处理音频的频域标记特征；

将所述时域特征输入训练完成的时域波形修复生成器中，获得所述待处理音频的第一时域信号，将所述频域特征和所述频域标记特征输入训练完成的频域频谱修复生成器中，获得所述待处理音频的第一频域信号；

将所述第一频域信号转换为第二时域信号，将所述第一时域信号和所述第二时域信号整合为目标时域信号，并基于所述目标时域信号得到目标音频。

2.根据权利要求1所述音频修复方法，其特征在于，还包括：

获取训练空白音频和所述训练空白音频对应的训练真实音频；

提取所述训练空白音频的训练时域特征和训练频域特征，并对所述训练空白音频的空白频域部分进行标记得到所述训练空白音频的训练频域标记特征；

利用所述训练时域特征和所述训练真实音频的时域信号训练神经网络模型得到训练完成的时域波形修复生成器，利用所述训练频域特征、所述训练频域标记特征和所述训练真实音频的频域信号训练神经网络模型得到训练完成的频域频谱修复生成器。

3.根据权利要求2所述音频修复方法，其特征在于，所述利用所述训练时域特征和所述训练真实音频的时域信号训练神经网络模型得到训练完成的时域波形修复生成器，利用所述训练频域特征、所述训练频域标记特征和所述训练真实音频的频域信号训练神经网络模型得到训练完成的频域频谱修复生成器，包括：

将所述训练时域特征和所述训练真实音频的时域信号输入时域波形修复生成器中进行训练，直至时域损失函数和时域感知损失函数收敛，得到训练完成的时域波形修复生成器，将所述训练频域特征、所述训练频域标记特征和所述训练真实音频的频域信号输入频域频谱修复生成器中进行训练，直至频域感知损失函数收敛，得到训练完成的频域频谱修复生成器。

4.根据权利要求3所述音频修复方法，其特征在于，将所述训练时域特征和所述训练真实音频的时域信号输入时域波形修复生成器中进行训练，直至时域损失函数和时域感知损失函数收敛，得到训练完成的时域波形修复生成器，将所述训练频域特征、所述训练频域标记特征和所述训练真实音频的频域信号输入频域频谱修复生成器中进行训练，直至频域感知损失函数收敛，得到训练完成的频域频谱修复生成器，包括：

将所述训练时域特征输入时域波形修复生成器中得到第三时域信号，将所述训练频域特征输入频域频谱修复生成器中得到第二频域信号；

将所述第三时域信号转换为第三频域信号，将所述第二频域信号经过傅里叶变换转换为第四时域信号；

将所述第三时域信号和所述第四时域信号整合为整合时域信号，将所述第二频域信号和所述第三频域信号整合为整合频域信号；

利用时域损失函数和/或时域感知损失函数计算所述整合时域信号与所述训练真实音频的时域信号之间的第一差异；

利用频域感知损失函数计算所述整合频域信号与所述训练真实音频的频域信号之间的第二差异；

调整所述时域波形修复生成器和所述频域频谱修复生成器中的参数，直至所述第一差异和所述第二差异满足预设条件，得到训练完成的时域波形修复生成器和训练完成的频域频谱修复生成器。

5.根据权利要求4所述音频修复方法，其特征在于，所述利用时域损失函数和/或时域感知损失函数计算所述整合时域信号与所述训练真实音频的时域信号之间的第一差异，包括：

对所述训练空白音频的空白时域部分进行标记得到时域标记特征，计算所述第三时域信号与第五时域信号的差值的绝对值，并将所述时域标记特征与所述绝对值的乘积确定为所述第一差异；其中，所述第五时域信号为所述训练真实音频的时域信号；

和/或，将所述第三时域信号输入深度时域特征提取模型得到第一深度时域特征，将所述第五时域信号输入所述深度时域特征提取模型得到第二深度时域特征，并将所述第一深度时域特征与所述第二深度时域特征的差值的绝对值确定为所述第一差异。