[发明专利]音频数据处理方法和装置在审
申请号: | 202110362289.1 | 申请日: | 2021-04-02 |
公开(公告)号: | CN113096679A | 公开(公告)日: | 2021-07-09 |
发明(设计)人: | 陈诚 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G10L21/0208 | 分类号: | G10L21/0208;G10L21/02;G10L21/0224 |
代理公司: | 上海光栅知识产权代理有限公司 31340 | 代理人: | 关浩;马雯雯 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音频 数据处理 方法 装置 | ||
1.一种音频数据处理方法,其特征在于,方法包括:
获取时域音频数据;
在所述时域音频数据中分别提取第一声学特征和第二声学特征,所述第一声学特征和所述第二声学特征的维度小于预设维度;
将所述第一声学特征和所述第二声学特征进行拼接,得到输入特征;
将所述输入特征输入至预先建立的语音增强模型中,以在所述语音增强模型的网络层之间进行特征叠加处理,得到所述音频数据对应的掩膜特征;
将所述掩膜特征扩展到频域后与所述时域音频数据的幅度谱特征相乘,得到所述音频数据的人声预测结果。
2.根据权利要求1所述的方法,其特征在于,所述第一声学特征为巴克频率倒谱系数BFCC特征,所述在所述时域音频数据中提取第一声学特征,包括:
对所述时域音频数据进行短时傅里叶变换,得到所述音频数据在复频域的幅度谱特征;
根据所述幅度谱特征,确定所述音频数据的功率谱;
将所述功率谱映射至巴克域,得到巴克域功率谱数据;
对所述巴克域功率谱数据取对数,并对所述对数进行离散余弦变换,得到所述BFCC特征。
3.根据权利要求1所述的方法,其特征在于,所述第二声学特征为基音Pitch特征,所述在所述时域音频数据中提取第二声学特征,包括:
基于基音提取算法,提取所述音频数据的Pitch特征。
4.根据权利要求1所述的方法,其特征在于,所述语音增强模型包括三层门控循环单元GRU网络和三个全连接层,所述将所述输入特征输入至预先建立的语音增强模型中,以在所述语音增强模型的网络层之间进行特征叠加处理,得到所述音频数据对应的掩膜特征,包括:
将所述输入特征依次输入至第一全连接层和第一GRU网络,对所述第一全连接层和第一GRU网络分别输出的特征进行第一次特征叠加处理;
将所述第一次叠加处理得到的特征输入第二GRU网络,对所述第二GRU网络输出的特征进行第二次特征叠加处理;
将所述第二次特征叠加处理得到的特征依次输入第三GRU网络和第二全连接层,得到输出特征;
将所述输出特征映射为掩膜特征。
5.根据权利要求4所述的方法,其特征在于,所述将所述输入特征依次输入至第一全连接层和第一GRU网络,对所述第一全连接层和第一GRU网络分别输出的特征进行第一次特征叠加处理,包括:
将所述输入特征输入至第一全连接层,所述第一全连接层将所述输入特征映射为第一中间特征,所述第一中间特征的维度低于所述输入特征的维度;
将所述第一中间特征输入至第一GRU网络,得到所述第一GRU网络输出的第二中间特征;
将所述第一中间特征与所述第二中间特征进行叠加,得到第三中间特征。
6.根据权利要求5所述的方法,其特征在于,所述将所述第一次叠加处理得到的特征输入第二GRU网络,对所述第二GRU网络输出的特征进行第二次特征叠加处理,包括:
将所述第三中间特征输入至第二GRU网络,得到所述第二GRU网络输出的第四中间特征;
将所述第三中间特征与所述第四中间特征进行叠加,得到第五中间特征。
7.根据权利要求6所述的方法,其特征在于,所述将所述第二次特征叠加处理得到的特征依次输入第三GRU网络和第二全连接层,得到输出特征,包括:
将所述第五中间特征输入至第三GRU网络,得到所述第三GRU网络输出的第六中间特征;
将所述第六中间特征输入至第二全连接层,所述第二全连接层将所述第六中间特征映射为输出特征,所述输出特征的维度小于所述第六中间特征的维度。
8.根据权利要求5-7任一项所述的方法,其特征在于,还包括:
将所述第二中间特征输入至第三全连接层,所述第三全连接层将所述第二中间特征映射为维度为二的语音概率输出VAD特征,并将所述VAD特征的数值映射到预设数值范围内,所述预设数值范围为[0,1],所述语音概率输出特征用于判断所述音频数据中是否存在人声信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110362289.1/1.html,转载请声明来源钻瓜专利网。