[发明专利]音频处理方法、装置、存储介质及设备在审
申请号: | 202111647327.4 | 申请日: | 2021-12-29 |
公开(公告)号: | CN114299981A | 公开(公告)日: | 2022-04-08 |
发明(设计)人: | 郑佳欢;向勇;关迎辉;张海平;云龙 | 申请(专利权)人: | 中国电信股份有限公司 |
主分类号: | G10L21/0208 | 分类号: | G10L21/0208;G10L25/03;G10L25/30 |
代理公司: | 北京律智知识产权代理有限公司 11438 | 代理人: | 孙宝海;李建忠 |
地址: | 100033 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音频 处理 方法 装置 存储 介质 设备 | ||
1.音频处理方法,其特征在于,所述方法包括:
获取待处理音频数据;
对所述待处理音频数据进行主语音特征提取,以及对所述待处理音频数据进行噪音特征提取;
对所述主语音特征提取过程中的中间主语音特征以及所述噪音特征提取过程中的中间噪音特征进行特征交互,并根据得到的音频特征对所述中间主语音特征进行语音强化处理,以及对所述中间噪音特征进行噪音弱化处理;
根据所述主语音特征提取得到的目标主语音特征以及根据所述噪音特征提取得到的目标噪音特征,生成去噪强音的音频数据。
2.根据权利要求1所述的方法,其特征在于,音频处理模型包括特征提取网络、交互网络以及融合网络;所述对所述待处理音频数据进行主语音特征提取,以及对所述待处理音频数据进行噪音特征提取,包括:
将所述待处理音频数据输入所述特征提取网络的第一分支网络进行主语音特征提取,以及将所述待处理音频数据输入所述特征提取网络的第二分支网络进行噪音特征提取;
所述对所述主语音特征提取过程中的中间主语音特征以及所述噪音特征提取过程中的中间噪音特征进行特征交互,并根据得到的音频特征对所述中间主语音特征进行语音强化处理,以及对所述中间噪音特征进行噪音弱化处理,包括:
将所述主语音特征提取过程中的中间主语音特征以及所述噪音特征提取过程中的中间噪音特征输入所述交互网络的拼接网络进行特征交互,得到音频特征,并所述音频特征输入所述交互网络的特征处理网络对所述中间主语音特征进行语音强化处理,以及对所述中间噪音特征进行噪音弱化处理;
所述根据所述主语音特征提取得到的目标主语音特征以及根据所述噪音特征提取得到的目标噪音特征,生成去噪强音的音频数据,包括:
将所述主语音特征提取得到的目标主语音特征以及所述噪音特征提取得到的目标噪音特征输入所述融合网络的去噪音频生成网络,生成去噪强音的音频数据。
3.根据权利要求2所述的方法,其特征在于,所述将所述待处理音频数据输入所述特征提取网络的第一分支网络进行主语音特征提取,以及将所述待处理音频数据输入所述特征提取网络的第二分支网络进行噪音特征提取之前,所述方法还包括:
获取带有样本标签的音频样本数据;
将所述音频样本数据输入初始特征提取网络的第一分支网络进行主语音特征提取,以及将所述音频样本数据输入所述初始特征提取网络的第二分支网络进行噪音特征提取;
将所述主语音特征提取过程中的中间主语音特征以及所述噪音特征提取过程中的中间噪音特征输入初始交互网络的拼接网络进行特征交互,得到音频特征,并将所述音频特征输入所述初始交互网络的特征处理网络对所述中间主语音特征进行语音强化处理,以及对所述中间噪音特征进行噪音弱化处理;
将所述主语音特征提取得到的目标主语音特征以及所述噪音特征提取得到的目标噪音特征输入初始融合网络的去噪音频生成网络,生成去噪强音的音频数据;
根据所述去噪强音的音频数据以及所述音频样本数据所对应的样本标签,分别调整所述初始特征提取网络、所述初始交互网络以及所述初始融合网络的模型参数,得到所述音频处理模型。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述根据得到的音频特征对所述中间主语音特征进行语音强化处理,以及对所述中间噪音特征进行噪音弱化处理,包括:
根据所述音频特征,得到主语音特征以及噪音特征;
根据所述主语音特征对所述中间主语音特征进行语音强化操作,以及根据所述噪音特征对所述中间噪音特征进行噪音弱化操作。
5.根据权利要求4所述的方法,其特征在于,所述根据所述音频特征,得到主语音特征以及噪音特征,包括:
根据所述音频特征,获取语音的时域信息和频域信息中的至少一者,以及获取噪音的时域信息和频域信息中的至少一者;
根据所述噪音的时域信息和频域信息中的至少一者,得到所述主语音特征,以及根据所述语音的时域信息和频域信息中的至少一者,得到所述噪音特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电信股份有限公司,未经中国电信股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111647327.4/1.html,转载请声明来源钻瓜专利网。