[发明专利]一种基于多目标异质网络的集成语音增强系统

说明书

本发明公开了一种基于多目标异质网络的集成语音增强系统，该系统包括特征提取模块、特征降维模块、m个异质网络、n个门控单元，使用m个异质网络作为集成语音增强系统的子模型，每个异质网络从第个个网络层开始引出多目标分支，并以对称的方式连接异质网络的首尾层，可以有效缓解多目标学习的参数优化冲突问题，可以避免原始输入在深层的网络传播中丢失信息，可以提高集成语音增强系统的基模型多样性，进而提高增强语音的质量和可懂度。特征降维模块通过计算原始输入语音帧之间的关联信息，并将其和当前输入帧拼接，作为n个门控单元的输入，大大降低了n个门控单元的输入维度，而且不丢失原始输入中的帧之间的关联信息。

技术领域

本发明涉及语音增强技术领域，具体涉及一种基于多目标异质网络的集成语音增强系统。

背景技术

语音是人们日常交流中最重要、最直接的信息载体。然而，语音信号往往会被生活中的各种噪声所污染，比如餐厅里的说话人噪声，工厂里的机器噪声，施工场所里的工地噪声，马路上的汽车噪声，嘈杂的人流噪声等等，这些噪声都会影响我们对有用语音的获取和理解，导致语音听感质量和可懂度下降。

语音增强技术是指从带噪语音中消除噪声分量，提取恢复出干净语音分量，以提高语音的听感质量和可懂度。其中的算法包括传统的基于统计的增强技术和现代基于深度学习神经网络的增强技术。传统的语音增强算法如谱减法和维纳滤波法通常会假设噪声信号是平稳的，然后基于这一假设进行计算推导出干净语音。但是现实生活中的噪声信号形形色色，具有十分大的随机性且非平稳，因此在实际生活中传统语音增强算法的性能效果会变差。近年来得益于计算机硬件计算能力的提高，深度学习神经网络得到了快速发展，促使深度学习被广泛应用于各行各业。而在语音增强领域内，深度学习不用预先对噪声信号进行假设，直接提取带噪语音特征，通过神经网络映射到干净语音特征，实现端到端的语音增强，与传统算法相比，深度学习方法可以取得了更大的性能提升。

由于不同的神经网络训练目标会得到不同的语音增强效果，因此如何选择更优的训练目标也是一个热门研究方向。近年来有学者将多目标学习技术应用在语音增强领域，多目标学习即在神经网络的最后一层引出多个目标分支输出层，而其他网络层共享参数，多目标学习可以让各个目标互相学习各自的内在特性，但是共享网络层可能会导致参数优化冲突。

集成学习是一种集体决策过程，通过学习多个弱学习器，再经过一定的策略将弱学习器结合成一个强学习器，具有强大的非线性拟合能力。但是已有的基于深度神经网络的语音增强集成模型存在基模型同质化严重和门控单元输入过于冗余等问题，基模型同质化程度过高会导致各个基模型学习到的特征模式都相同，这样最终的集成模型和单个模型没有区别，而门控单元的输入过于冗余会让集成学习的训练参数增加，且最终的决策过程不够准确，导致增强后的语音质量和可懂度较低。

发明内容

本发明的目的是为了解决现有多目标学习语音增强系统和集成学习语音增强系统的技术缺陷，提供一种基于多目标异质网络的集成语音增强系统，该系统可以有效缓解多目标学习的参数优化冲突问题，以及避免原始输入在深层网络传播中丢失信息。该方法降低了门控单元的输入维度，在减少模型训练参数的同时保证原始输入中的帧之间的关联信息不丢失。本发明可以广泛应用于医疗助听器、车载语音系统、电话通信、手机电脑的智能语音助手等场景。

本发明的目的可以通过采取如下技术方案达到：

一种基于多目标异质网络的集成语音增强系统，由特征提取模块、特征降维模块、m个异质网络、n个门控单元构成，其中原始输入分别与特征提取模块以及特征降维模块相连，特征提取模块分别与m个异质网络相连，特征降维模块和m个异质网络分别与n个门控单元相连。

所述特征提取模块的输入是原始输入，输出与m个异质网络相连，用于提取原始输入的特征。

所述特征降维模块的输入是原始输入，输出分别与n个门控单元相连，用于降低n个门控单元的输入维度，并且保持输入帧之间的关联信息。