[发明专利]语音增强模型的训练、增强方法、装置、设备、介质有效
申请号: | 202210917051.5 | 申请日: | 2022-08-01 |
公开(公告)号: | CN114974299B | 公开(公告)日: | 2022-10-21 |
发明(设计)人: | 方雪飞;杨栋;曹木勇 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G10L25/30 | 分类号: | G10L25/30;G10L21/0316;G10L21/0208;G06N3/08;G06N3/04 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 高天华;王黎延 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 增强 模型 训练 方法 装置 设备 介质 | ||
1.一种语音增强模型的训练方法,其特征在于,所述方法包括:
基于带噪语音信号的带噪语音特征,调用语音增强模型进行语音增强处理,得到听觉域的多个第一预测掩码值;其中,不同的所述第一预测掩码值对应所述听觉域的不同频带;
获取所述带噪语音信号的每个频点对应的第一幅值和第一相位、以及对应的纯净语音信号的每个所述频点对应的第二幅值和第二相位;
基于每个所述频点对应的所述第一相位和所述第二相位,确定所述纯净语音信号和所述带噪语音信号在每个所述频点的相位差,并基于每个所述频点的相位差对所述频点对应的所述第二幅值进行修正处理,得到每个所述频点对应的修正后第二幅值;
将每个所述频点对应的所述第一幅值以及所述修正后第二幅值,映射至所述听觉域中对应的所述频带;
基于映射至每个所述频带的所述第一幅值,确定每个所述频带对应的第一能量;其中,所述第一能量是以下参数的加权求和结果:映射至每个所述频带的所述第一幅值的平方;
基于映射至每个所述频带的所述修正后第二幅值,确定每个所述频带对应的第二能量;其中,所述第二能量是以下参数的加权求和结果:映射至每个所述频带的所述修正后第二幅值的平方;
基于每个所述频带对应的所述第一预测掩码值、所述第一能量以及所述第二能量,确定损失值;
基于所述损失值在所述语音增强模型中进行反向传播,以更新所述语音增强模型的参数。
2.根据权利要求1所述的方法,其特征在于,
所述将每个所述频点对应的所述第一幅值以及所述修正后第二幅值,映射至所述听觉域中对应的所述频带,包括:
确定每个所述频点在所述听觉域中所属的第二频带;
将每个所述频点对应的所述第一幅值以及所述修正后第二幅值,映射至所述频点在所述听觉域中所属的所述第二频带。
3.根据权利要求1所述的方法,其特征在于,
所述基于每个所述频带对应的所述第一预测掩码值、所述第一能量以及所述第二能量,确定损失值,包括:
基于每个所述频带对应的所述第一能量和所述第二能量,确定每个所述频带对应的第二目标掩码值;
将每个所述频带对应的所述第一预测掩码值、以及所述频带对应的所述第二目标掩码值,代入第三目标损失函数进行计算处理,得到损失值。
4.根据权利要求2所述的方法,其特征在于,
所述基于每个所述频带对应的所述第一能量和所述第二能量,确定每个所述频带对应的第二目标掩码值,包括:
通过以下方式之一确定每个所述频带对应的第二目标掩码值:
将所述频带对应的所述第二能量与所述第一能量的比值,确定为所述频带对应的第二目标掩码值;
将所述频带对应的所述第一能量与所述第二能量的差值,确定为所述频带对应的第三能量;
对所述频带对应的所述第二能量的平方与所述第三能量的平方进行求和处理,得到第一求和结果,并将所述第二能量的平方与所述第一求和结果的比值,确定为所述频带对应的第二目标掩码值。
5.根据权利要求1所述的方法,其特征在于,
所述基于每个所述频带对应的所述第一预测掩码值、所述第一能量以及所述第二能量,确定损失值,包括:
将每个所述频带对应的所述第一预测掩码值,与所述频带对应的所述第一能量进行相乘处理,得到每个所述频带对应的第四能量;
将每个所述频带对应的所述第二能量、以及所述频带对应的所述第四能量,代入第四目标损失函数进行计算处理,得到损失值。
6.一种语音增强处理方法,其特征在于,所述方法包括:
基于待处理语音信号的待处理语音特征,调用语音增强模型进行语音增强处理,得到听觉域的多个掩码值;其中,所述语音增强模型是通过权利要求1至5任一项所述的语音增强模型的训练方法训练得到的;
基于所述听觉域的所述多个掩码值进行内插处理,得到内插处理结果;
基于所述内插处理结果与所述待处理语音信号的相位进行信号重建处理,得到增强后语音信号。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210917051.5/1.html,转载请声明来源钻瓜专利网。