[发明专利]一种单通道语音分离方法、装置及电子设备

说明书

本发明提供了一种单通道语音分离方法、装置及电子设备，使用编码器提取混合语音信号特征，分割提取到的语音信号特征并将其重新拼接成3‑D的张量；利用融合了自注意力机制的双路循环神经网络对拼接好的3‑D张量进行建模，学习语音信号之间的长时间依赖关系；将建模后的3‑D张量进行交叠相加，还原为序列语音信号特征；使用解码器将序列语音信号特征重构为纯净语音信号，得到分离的语音信号。本发明以提升语音分离性能为目的对长时间的语音信号进行建模，充分挖掘了语音信号之间的长时间依赖关系，分离效果较好，有效地降低了语音的失真率，同时提高了分离语音的可懂性。

技术领域

本发明涉及语音信号处理、模式识别等领域，特别涉及一种单通道语音分离方法、装置及电子设备。

背景技术

单通道语音分离是指从一个多人说话的混合语音中，分离出每一个人的纯净语音，是信号处理领域的一个重要分支。其在现实世界中有许多实际应用，例如：从混合噪声语音中分离出纯净语音信号来提升语音识别和说话人识别的准确性。在视频会议转录、听力辅助、移动通信等领域，单通道语音分离都有着广阔的应用前景和实际意义。

传统的单通道语音分离主要是采用非负矩阵分解法和听觉场景分析法。非负矩阵分解法通过非负词典将混合语音信号的频谱特征解耦为与说话人相关的特定表示，然后从这些特定表示中得到每一个人的纯净语音。听觉场景分析法则是先将频谱特征分解为时间-频率分块，再通过将分块归组的方式提取特定说话人的语音信号。然而，这些传统方法只能处理已知说话人的语音分离任务，无法泛化到未知说话人混合语音的分离上，应用场景大大受限。进入深度学习时代以后，基于频谱特征的神经网络解决了泛化问题，并且在一定程度上提升了分离性能。但是基于频谱特征的神经网络仍然使用频谱特征作为神经网络的输入，大多数情况下只对幅度特征进行了分离，并没有处理相位信息；导致神经网络分离出的语音中存在伪像，使得其存在性能上限，无法最大化地提升分离性能。为了克服这一问题，时域分离法通过卷积-反卷积的方式提取语音信号特征和恢复语音信号，从原理上避免了伪像的产生，大大提升了语音分离的性能。然而，时域分离系统通常需要对极长的输入序列进行建模，需要挖掘输入序列中帧与帧之间关系，这对于时域分离法来说是一个巨大的挑战。

发明内容

针对现有技术中存在不足，本发明提供了一种单通道语音分离方法、装置及电子设备，与现有方法相比，充分挖掘了语音信号之间的长时间依赖关系，分离效果更好，有效地降低了语音的失真率，同时提高了分离语音的可懂性。

本发明是通过以下技术手段实现上述技术目的的。

一种单通道语音分离方法，分割提取的语音信号特征并将其重新拼接成3-D张量，利用融合了自注意力机制的双路循环神经网络对拼接的3-D张量进行建模，学习语音信号之间的长时间依赖关系，将建模后的3-D张量还原为序列语音信号特征，将序列语音信号特征重构为纯净语音信号，得到分离的语音信号。

进一步，所述自注意力机制融合循环神经网络，把由多个查询query组成的Q、多个键值对(keys，values)组成的(K，V)映射到一个指定的输出。

更进一步，所述自注意力机制包括点乘注意力模块、多头注意力模块、残差归一化模块和循环神经网络模块。

更进一步，所述循环神经网络模块采用双向循环神经网络。

更进一步，所述融合循环神经网络的自注意力机制再融合到双路网络中。

更进一步，所述双路网络包括块内模块和块际模块。

更进一步，所述双路网络的计算方式为：

IntraD＝LN([MultiHead(D[:,:,s],D[:,:,s],D[:,:,s]),s＝1,...,H])

Intrablock(D)＝[BiLSTM(IntraD[:,:,s]),s＝1,...,H]