[发明专利]音频分离网络的训练方法、音频分离方法、装置及介质有效
申请号: | 202010086752.X | 申请日: | 2020-02-11 |
公开(公告)号: | CN111341341B | 公开(公告)日: | 2021-08-17 |
发明(设计)人: | 王珺;林永业;苏丹;俞栋 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G10L21/0272 | 分类号: | G10L21/0272;G10L25/30;G06N3/04;G06N3/08 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 崔晓岚;张颖玲 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音频 分离 网络 训练 方法 装置 介质 | ||
1.一种音频分离网络的训练方法,其特征在于,所述方法包括:
获取第一分离样本集合,所述第一分离样本集合中至少包括两类具有伪标签的音频;
其中,所述获取第一分离样本集合,包括:获取至少包括未标注音频的样本音频;采用已训练的有监督网络,按照音频数据的类型,对所述样本音频进行分离,得到每一类型的分离样本,以得到所述第一分离样本集合;其中,所述有监督网络的网络参数是基于无监督网络的网络参数进行更新的;
将每一第一分离样本一一对应的与不同的扰动数据相乘,得到调整数据集合;
对所述调整数据集合中的调整数据求和,得到第一样本集合;
采用无监督网络对所述第一样本集合进行分离,得到第二分离样本集合;
确定每一第二分离样本与所述第一分离样本集合的真值数据之间的损失,得到每一第二分离样本的损失,以得到损失集合;
采用所述第二分离样本的损失,对所述无监督网络的网络参数进行调整,以使调整后的无监督网络输出的分离结果的损失满足收敛条件;
其中,所述采用所述第二分离样本的损失,对所述无监督网络的网络参数进行调整,包括:从所述损失集合中,确定最小损失;基于所述最小损失,更新所述无监督网络的网络参数,得到更新的网络参数。
2.根据权利要求1所述的方法,其特征在于,在所述基于所述最小损失,更新所述无监督网络的网络参数,得到更新的网络参数之后,所述方法还包括:
将所述更新的网络参数反馈给所述有监督网络,以调整所述有监督网络的网络参数,得到更新的有监督网络。
3.根据权利要求2所述的方法,其特征在于,所述将所述更新的网络参数反馈给所述有监督网络,以调整所述有监督网络的网络参数,得到更新的有监督网络,包括:
确定所述更新的网络参数的滑动平均值;
将所述滑动平均值反馈给所述有监督网络,以调整所述有监督网络的网络参数,以得到所述更新的有监督网络。
4.根据权利要求2或3所述的方法,其特征在于,在所述将所述更新的网络参数反馈给所述有监督网络,以调整所述有监督网络的网络参数,得到更新的有监督网络之后,所述方法还包括:
采用所述更新的有监督网络,对所述样本音频进行再次分离,得到第三分离样本集合;
采用所述扰动数据对所述第三分离样本集合进行插值,得到第二样本集合,并将所述第二样本集合输入更新的无监督网络;
采用所述更新的无监督网络对所述第二样本集合进行再次预测分离,得到第四分离样本集合;
确定所述第四分离样本集合中第四分离样本的损失;
采用所述第四分离样本的损失,对所述更新的无监督网络的网络参数和所述更新的有监督网络的网络参数进行调整,以使调整后的更新的无监督网络输出的分离结果的损失满足收敛条件。
5.根据权利要求1所述的方法,其特征在于,在所述采用已训练的有监督网络,按照音频数据的类型,对所述样本音频进行分离,得到每一类型的分离样本,以得到所述第一分离样本集合之前,所述方法还包括:
获取有标注的干净样本音频和噪声样本音频;
将所述干净样本音频和噪声样本音频相混合,得到第三样本集合;
采用待训练的有监督网络对所述第三样本集合进行分离,得到第五分离样本集合;
确定所述第五分离样本集合中的第五分离样本的损失;
采用所述第五分离样本的损失,对所述待训练的有监督网络的网络参数进行调整,以使调整后的待训练的有监督网络输出的分离结果的损失满足收敛条件,得到已训练的所述有监督网络。
6.一种音频分离方法,其特征在于,所述方法包括:
获取待分离音频;
采用已训练的神经网络对所述待分离音频进行分离,得到分离结果;其中,所述神经网络为基于上述权利要求1至5任一项所述的音频分离网络的训练方法训练得到的;
输出所述分离结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010086752.X/1.html,转载请声明来源钻瓜专利网。