[发明专利]一种基于声纹识别的语音降噪方法、装置、设备及介质

说明书

本申请公开了一种基于声纹识别的语音降噪方法、装置、设备及介质，方法包括：获取指定人员的声纹模板信息，以及包括所述指定人员语音的场景音频；对所述场景音频进行语音分离，以得到多个单一人员分别对应的人员音频，所述人员音频中包括场景噪音；通过对所述人员音频以及所述声纹模板信息进行匹配，以确定所述指定人员对应的指定人员音频；对所述指定人员音频进行降噪处理，以得到目标音频。通过对场景音频进行语音分离，并在多个单一人员对应的人员音频中对指定人员对应的音频进行匹配，从而能够得到指定人员对应的音频，从而在有多说话人对话的场景语音中，能够将语音中除目标说话人外的其他音频均视为噪声，并保留目标说话人语音。

技术领域

本申请涉及语音降噪领域，具体涉及一种基于声纹识别的语音降噪方法、装置、设备及介质。

背景技术

语音降噪指的是尽可能地从被污染的录音或有噪声的通话中提取出含有价值信息的语音信号，降低背景音的干扰。语音的质量和可懂度容易受到环境噪音、混响、回声的干扰，降低这些背景噪音可以有效改善通话质量，提高沟通效率。在众多企业和学者多年的研发积累下，语音降噪算法已经取得了十足的成果，可以消除音频中的噪声和混响，最大程度地保留原始语音。

然而语音降噪算法仍有着易受环境音中的人声干扰的缺点。人类听觉系统的选择性聆听功能可以使人类在存在着许多不同说话人声音的环境中听取目标说话人的声音。虽然人类的听觉系统可以将说话人的语音分离，但是现有语音降噪算法来很难做到语音分离。

发明内容

为了解决上述问题，本申请提出了一种基于声纹识别的语音降噪方法、系统、设备及介质，其中方法包括：

获取指定人员的声纹模板信息，以及包括所述指定人员语音的场景音频；对所述场景音频进行语音分离，以得到多个单一人员分别对应的人员音频，所述人员音频中包括场景噪音；通过对所述人员音频以及所述声纹模板信息进行匹配，以确定所述指定人员对应的指定人员音频；对所述指定人员音频进行降噪处理，以得到目标音频。

在一个示例中，所述对所述场景音频进行语音分离，以得到多个单一人员分别对应的人员音频，具体包括：获取第一数据集，并通过所述第一数据集训练初始分离模型，以得到分离模型；将所述场景语音输入至所述分离模型中，以得到多个单一人员分别对应的人员音频；所述初始分离模型由第一编码器、第一解码器和掩码网络组成；所述第一编码器包括一维卷积网络以及整流线性单元，所述第一解码器中包括一维转置卷积层；所述掩码网络包括层归一化以及MossFormer模块。

在一个示例中，所述通过对所述人员音频以及所述声纹模板信息进行匹配，以确定所述指定人员对应的指定人员音频，具体包括：获取第二数据集，并通过所述第二数据集训练初始匹配模型，以得到匹配模型，将所述人员语音以及所述声纹模板信息输入至所述匹配模型，以得到所述指定人员对应的指定人员音频；所述初始匹配模型包括时延神经网络层、通道注意力机制层、多尺度特征融合层和注意力机制的池化层，所述通道注意力机制层包括Squeeze-and-Excitation模块与一维的Res2Net层。

在一个示例中，所述对所述指定人员音频进行降噪处理，以得到目标音频，具体包括：获取第三数据集，并通过所述第三数据集训练初始降噪模型，以得到降噪模型；将所述指定人员音频输入至所述降噪模型，以得到所述目标音频；所述初始降噪模型包括第二编码器、第二解码器、注意力模块以及循环模块，所述第二编码器以及所述第二解码器中包括多个卷积循环模块。

在一个示例中，所述对所述指定人员音频进行降噪处理，具体包括：对所述指定人员音频进行第一降噪处理，以得到中间音频；确定所述中间音频的人声纯净度，判断所述人声纯净度是否低于预设阈值，若低于，则将所述中间音频进行第二降噪处理，直至所述中间音频的人声纯净度高于所述预设阈值。