[发明专利]一种基于时间建模生成对抗网络的语音增强系统有效
申请号: | 202210387623.3 | 申请日: | 2022-04-14 |
公开(公告)号: | CN114495958B | 公开(公告)日: | 2022-07-05 |
发明(设计)人: | 董安明;张德辉;禹继国;韩玉冰;李素芳;张丽;邱静;刘洋;张滕;刘宗银 | 申请(专利权)人: | 齐鲁工业大学 |
主分类号: | G10L21/02 | 分类号: | G10L21/02;G10L25/30;G06N3/04 |
代理公司: | 济南智本知识产权代理事务所(普通合伙) 37301 | 代理人: | 张平平 |
地址: | 250353 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 时间 建模 生成 对抗 网络 语音 增强 系统 | ||
本发明提供一种基于时间建模生成对抗网络的语音增强系统,属于语音信号处理技术领域,包括:数据获取单元,用于获取带噪语音信号,并对所述带噪语音信号进行降采样;信号增强单元,用于将所述带噪语音信号输入基于时间建模的生成对抗网络,压缩并提取语音信号的全局时域特征,将所述时域特征与随机噪声链接为一个特征向量,对所述特征向量进行解码,得到增强的语音信号。本发明解决了语音时域特征的时间依赖性和全局性考虑不足的问题,降低语音信号中的噪声影响,从而提高了增强后语音的听觉质量。
技术领域
本发明属于语音信号处理技术领域,具体涉及一种基于时间建模生成对抗网络的语音增强系统。
背景技术
语音增强是一种提高语音质量与可懂度的关键技术,即利用音频信号处理技术从一段含有噪声的观测信号中,消除噪声并提取纯净语音信号的技术,目前不降低语音可懂度或者不引入明显语音失真仍然是一个艰巨的挑战。
近年来,随着人工智能技术以及计算机处理能力的快速发展,深度学习成为了诸多研究领域的热点技术并且取得了很多显著的研究成果。因为维纳滤波,谱减法等传统的语音增强算法性能有限,深度学习技术被引入语音增强领域。如今,基于深度学习的有监督学习方法已经成为当今语音增强的主流方法。这类方法在实现语音增强时,一般分为两个阶段。第一阶段,运用有监督学习的训练方式,得到观测信号和纯净语音特征的映射关系。之后,第二阶段运用该映射关系进行语音增强。生成对抗网络因其在学习映射关系方面的优良性能,在语音增强领域取得了显著的成果,语音增强生成对抗网络利用生成对抗网络对语音在时域进行端到端的增强映射,均优于传统的语音增强算法,但是对于语音时域特征的时间依赖性和全局方面考虑不足。
发明内容
针对现有技术的上述不足,本发明提供一种基于时间建模生成对抗网络的语音增强系统,以解决生成对抗网络语音时域特征的时间依赖性和全局方面考虑不足问题。
第一方面,本发明提供一种基于时间建模生成对抗网络的语音增强系统,包括:
数据获取单元,用于获取带噪语音信号,并对所述带噪语音信号进行降采样;
信号增强单元,用于将所述带噪语音信号输入基于时间建模的生成对抗网络,压缩并提取语音信号的全局时域特征,将所述时域特征与随机噪声链接为一个特征向量,对所述特征向量进行解码,得到增强的语音信号;
所述生成对抗网络包括生成器,所述生成器包括编码器和解码器;
所述编码器包括第一卷积层和第一时间建模模块,所述第一卷积层用于提取语音信号局部特征,所述第一时间建模模块用于根据所述局部特征提取语音信号的时域特征;
所述解码器包括反卷积层和第二时间建模模块,反卷积层用于根据编码器提取的语音特征恢复语音信号,第二时间建模模块用于在恢复语音信号过程中进行时间建模。
进一步的,所述第一时间建模模块包括上下堆叠的GRU层和自注意力机制层;所述GRU层用于根据第一卷积层输出的局部特征提取特征的时间相关性特征;所述自注意力机制层用于根据所述时间相关性提取特征的全局时域特征。
进一步的,所述自注意力机制层包括第二卷积层、最大池化层和第一softmax层;
所述第二卷积层用于对所述时间相关性特征进行卷积操作,得到查询矩阵;
所述最大池化层用于对卷积操作后的时间相关性特征降低特征数量,得到键矩阵和值矩阵;
所述自注意力机制层用于利用查询矩阵、键矩阵和值矩阵进行相似性计算和softmax操作。
进一步的,所述第一卷积层为一维的,所述第一时间建模模块嵌入在相邻两个第一卷积层中间,且与所述第一卷积层相互耦合;
所述反卷积层为一维的,且层数与所述第一卷积层相同,所述第二时间建模模块嵌入在相邻两个反卷积层中间;
所述第一卷积层与所述反卷积层之间采用残差链接连接。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于齐鲁工业大学,未经齐鲁工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210387623.3/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种高强度三层共挤锂离子电池隔膜及其制备方法
- 下一篇:工业质检的方法和装置