[发明专利]一种残余回声及噪声消除方法及装置

说明书

本申请实施例公开了一种残余回声及噪声消除方法及装置，方法包括：对接收的含有回声及噪声的语音时域信号和远端参考声时域信号进行分帧、加窗和傅里叶变换，得到对应的频域信号并确定回声频域信号，进一步确定含有残余回声及噪声的语音频域信号；将含有残余回声及噪声的语音频域信号、回声频域信号和远端参考声频域信号各自的幅度谱进行能量归一化处理，得到对应的特征；根据对应的特征和训练后级联网络，确定目标语音频域信号；对目标语音频域信号进行逆傅里叶变换，得到目标语音时域信号。本申请实施例使用特征注意力模型赋予输入特征不同重要性，减少输入特征中冗余信息。使多域的损失函数进行级联网络的训练，降低模型对于信号能量的敏感度。

技术领域

本发明涉及回声及噪声消除领域。尤其涉及一种残余回声及噪声消除方法及装置。

背景技术

目前，回声消除技术主要是去除语音信号中由远端参考声信号形成的回声信号，而语音降噪技术主要是去除语音信号中背景噪声以及指向性噪声干扰。回声消除技术和语音降噪技术都旨在提高语音的质量和可懂度。在回声消除技术中，结合基于传统信号处理的自适应滤波方法和基于深度学习的残余回声消除方法，可以有效提升系统的泛化性能。

然而，在传统方法中残余回声及噪声消除往往是独立分开进行的，没有考虑这两个任务的相关性。在残余回声消除任务中有多个信号特征可以利用，这些特征有着不同的物理意义与重要性，而传统方法都没有考虑这些特征不同的重要性。在训练残余回声及噪声消除模型时，现有技术大多采用目标幅度谱和估计幅度谱的均方误差作为损失函数，但上述损失函数依赖于信号的能量大小，对不同大小能量的信号的尺度也会不同。

发明内容

由于现有方法存在上述问题，本申请实施例提出一种残余回声及噪声消除方法及装置。

第一方面，本申请实施例提出一种残余回声及噪声消除方法，包括：

接收含有回声及噪声的语音时域信号和远端参考声时域信号；

对所述含有回声及噪声的语音时域信号和所述远端参考声时域信号分别进行分帧、加窗和傅里叶变换，得到含有回声及噪声的语音频域信号和远端参考声频域信号；

根据所述含有回声及噪声的语音频域信号和所述远端参考声频域信号，确定回声频域信号；

根据所述含有回声及噪声的语音频域信号和所述回声频域信号，确定含有残余回声及噪声的语音频域信号；

将所述含有残余回声及噪声的语音频域信号的幅度谱、所述回声频域信号的幅度谱和所述远端参考声频域信号的幅度谱进行能量归一化处理，得到含有残余回声及噪声的语音频域信号特征、回声频域信号特征和远端参考声频域信号特征；

将所述含有残余回声及噪声的语音频域信号特征与所述远端参考声频域信号特征进行拼接，得到第一拼接结果，并且将所述含有残余回声及噪声的语音频域信号特征与所述回声频域信号特征进行拼接，得到第二拼接结果；

将所述第一拼接结果和所述第二拼接结果输入所述训练后级联网络中的训练后特征注意力模型，获得与所述远端参考声频域信号特征对应的第一注意力权重和与所述回声频域信号特征对应的第二注意力权重；

将所述远端参考声频域信号特征与第一注意力权重相乘，得到第一融合注意力机制特征，并且将所述回声频域信号特征与第二注意力权重相乘，得到第二融合注意力机制特征；

将所述第一融合注意力机制特征、所述第二融合注意力机制特征和所述含有残余回声及噪声的语音频域信号特征进行拼接，得到第一融合拼接结果；

将所述第一融合拼接结果输入所述训练后级联网络中的训练后残余回声及噪声消除模型，得到目标语音频域信号的掩蔽估计值；

根据所述目标语音频域信号的掩蔽估计值和所述含有残余回声及噪声的语音频域信号，得到所述目标语音频域信号；