[发明专利]语音增强方法、装置、存储介质、电子设备有效

专利信息
申请号: 201910631894.7 申请日: 2019-07-12
公开(公告)号: CN110503940B 公开(公告)日: 2021-08-31
发明(设计)人: 许家铭;李晨星;徐波 申请(专利权)人: 中国科学院自动化研究所
主分类号: G10L15/02 分类号: G10L15/02;G10L15/04;G10L21/007;G10L21/02;G10L25/27
代理公司: 北京华夏泰和知识产权代理有限公司 11662 代理人: 孟德栋
地址: 100190 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 语音 增强 方法 装置 存储 介质 电子设备
【权利要求书】:

1.一种语音增强方法,其特征在于,所述方法包括:

调用语音采集设备,采集当前环境中的语音;

按照预设的语音处理算法,对所述语音进行处理,得到单通道语音;

对所述单通道语音进行断句切分,得到包含预设类型声音的语音分段数据流;

从所述语音分段数据流中提取短时傅里叶特征,包括:对所述语音分段数据流进行短时傅里叶变换,获得短时傅里叶特征;其中,对所述短时傅里叶特征求取绝对值,获得语音频谱;

将语音特征输入预设的语音增强网络模型中,得到与所述语音特征对应的增强语音,包括:预先构建基于自注意力机制的语音增强网络模型,捕捉长时依赖信息,并同时融合语音时间和频率域信息,其中,所述基于自注意力机制的语音增强网络模型额外增加边缘增强模块,细化语音纹理特征,使恢复语音清晰;将所述语音频谱输入基于自注意力机制的语音增强网络模型中,得到与所述语音频谱对应的增强语音频谱;

将所述增强语音合成为语音段。

2.根据权利要求1所述的方法,其特征在于,所述按照预设的语音处理算法,对所述语音进行处理,得到单通道语音,包括:

将所述语音经过A/D转换,按照预设的采样率进行采样,得到单通道语音。

3.根据权利要求1所述的方法,其特征在于,所述将所述增强语音合成为语音段,包括:

将增强后的语音频谱结合带噪语音的相位,利用逆傅里叶变换恢复为语音采样点,并将所述语音采样点融合获得连续的语音数据流。

4.根据权利要求1所述的方法,其特征在于,所述对所述单通道语音进行断句切分,得到包含预设类型声音的语音分段数据流,包括:

对所述单通道语音中在预设阈值范围内的语音进行断句切分;

对于所述单通道语音中在预设阈值范围内的任意一帧语音,利用预先建立的神经网络模型检测是否包含预设类型声音;

如果该帧语音包含预设类型声音,则保留该帧语音;

如果该帧语音不包含预设类型声音,则过滤该帧语音;

组合所有包含预设类型声音的语音帧,得到包含预设类型声音的语音分段数据流。

5.一种语音增强装置,其特征在于,所述装置包括:

语音采集模块,用于调用语音采集设备,采集当前环境中的语音;

语音处理模块,用于按照预设的语音处理算法,对所述语音进行处理,得到单通道语音;

语音切分模块,用于对所述单通道语音进行断句切分,得到包含预设类型声音的语音分段数据流;

特征提取模块,用于从所述语音分段数据流中提取短时傅里叶特征,包括:对所述语音分段数据流进行短时傅里叶变换,获得短时傅里叶特征;其中,对所述短时傅里叶特征求取绝对值,获得语音频谱;

语音增强模块,用于将语音特征输入预设的语音增强网络模型中,得到与所述语音特征对应的增强语音,包括:预先构建基于自注意力机制的语音增强网络模型,捕捉长时依赖信息,并同时融合语音时间和频率域信息,其中,所述基于自注意力机制的语音增强网络模型额外增加边缘增强模块,细化语音纹理特征,使恢复语音清晰;将所述语音频谱输入基于自注意力机制的语音增强网络模型中,得到与所述语音频谱对应的增强语音频谱;

语音合成模块,用于将所述增强语音合成为语音段。

6.一种电子设备,其特征在于,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的语音增强程序,以实现权利要求1~4中任一项所述的语音增强方法。

7.一种存储介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1~4中任一项所述的语音增强方法。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所,未经中国科学院自动化研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910631894.7/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top