[发明专利]语音增强模型的训练方法及装置、语音增强方法及装置

说明书

本公开关于一种语音增强模型的训练方法及装置、语音增强方法及装置。该训练方法包括：获取训练样本集，其中，训练样本集中每个训练样本包括多通道含噪语音信号和对应的多通道干净语音信号；将多通道含噪语音信号的复数谱输入到复数掩码网络，得到每个通道的复数掩码；基于每个通道的复数谱与对应的复数掩码，得到每个通道的增强复数谱；将每个通道的增强复数谱输入到波束形成模块，得到单通道的预估增强复数谱；基于预估增强复数谱对应的预估时域信号和多通道干净语音信号中预定通道的干净语音信号，确定语音增强模型的目标损失函数；根据目标损失函数调整复数掩码网络的参数，对语音增强模型进行训练。

技术领域

本公开涉及音视频领域，尤其涉及一种语音增强模型的训练方法及装置、语音增强方法及装置。

背景技术

近几年，人们越来越青睐于通过线上音视频会议的方式开会，这有助于打破人与人之间的距离障碍，提供更高效的沟通方式。但是，会议室的背景噪声、混响和麦克风数量等因素往往会严重影响会议期间的语音质量。为了提高语音质量，人们提出了各种各样的语音增强算法，如联合传统的信号波束形成算法和基于神经网络的单通道语音增强方法，即使用神经网络估计出单通道掩码mask，然后使用该mask计算信号波束形成算法中所需的噪声协方差矩阵等统计量，最后使用传统的信号波束形成算法进行语音增强。但是，该方案还是以传统的信号波束形成算法为主，没有充分利用神经网络的优势，导致语音增强性能提升有限。

发明内容

本公开提供一种语音增强模型的训练方法及装置、语音增强方法及装置，以至少解决相关技术中的语音增强算法没有很好的提升语音增强性能的问题。

根据本公开实施例的第一方面，提供一种语音增强模型的训练方法，语音增强模型包括复数掩码网络和波束形成模块，训练方法包括：获取训练样本集，其中，训练样本集中每个训练样本包括多通道含噪语音信号和对应的多通道干净语音信号，多通道含噪语音信号是对应的多通道干净语音信号添加噪声和混响后的语音信号；将多通道含噪语音信号的复数谱输入到复数掩码网络，得到每个通道的复数掩码，其中，复数掩码表示的是含噪语音信号中干净语音信号的占比；基于每个通道的复数谱与对应的复数掩码，得到每个通道的增强复数谱；将每个通道的增强复数谱输入到波束形成模块，得到单通道的预估增强复数谱；基于预估增强复数谱对应的预估时域信号和多通道干净语音信号中预定通道的干净语音信号，确定语音增强模型的目标损失函数；根据目标损失函数调整复数掩码网络的参数，对语音增强模型进行训练。

可选地，基于预估增强复数谱对应的预估时域信号和多通道干净语音信号中预定通道的干净语音信号，确定语音增强模型的目标损失函数，包括：基于预估时域信号、多通道干净语音信号中预定通道的干净语音信号和预定通道的噪声信号，确定语音增强模型的目标损失函数。

可选地，基于预估时域信号、多通道干净语音信号中预定通道的干净语音信号和预定通道的噪声信号，确定语音增强模型的目标损失函数，包括：基于多通道干净语音信号中预定通道的干净语音信号和预定通道的含噪语音信号，获取真实噪声信号；基于预估时域信号和预定通道的含噪语音信号，获取预估噪声信号；基于预估时域信号、预定通道的干净语音信号、预估噪声信号和真实噪声信号，确定语音增强模型的目标损失函数。

可选地，基于预估时域信号、预定通道的干净语音信号、预估噪声信号和真实噪声信号，确定语音增强模型的目标损失函数，包括：基于预估时域信号和预定通道的干净语音信号的差值的绝对值、预估噪声信号和真实噪声信号的差值的绝对值，确定语音增强模型的目标损失函数。

可选地，预定通道为多通道对应的麦克风阵列中位置居中的通道。

可选地，复数掩码网络包括因果U-NET网络。