[发明专利]语音增强模型的训练方法和装置及语音增强方法和装置

权利要求书

1.一种语音增强模型的训练方法，其特征在于，所述语音增强模型包括特征提取网络和语音增强网络，所述训练方法包括：

获取多个说话人的语音样本，其中，每个说话人的语音样本包括含噪语音样本和第一纯净语音样本，其中，所述含噪语音样本是根据与说话人对应的第二纯净语音样本添加噪声数据得到的；

根据所述含噪语音样本和第一纯净语音样本，获取每个说话人对应的特征向量和所述含噪语音样本的幅度谱，其中，所述特征向量是使用所述特征提取网络提取第一纯净语言样本得到的；

将所述特征向量作为辅助向量与所述幅度谱一起输入所述语音增强网络，得到估计的掩膜比，其中，所述掩膜比表示纯净语音信号幅度谱与含噪语音信号幅度谱的比值；

根据所述估计的掩膜比确定估计的增强语音信号，根据估计的增强语音信号和第二纯净语音样本确定所述语音增强模型的损失函数；

通过根据所述损失函数调整所述特征提取网络和所述语音增强网络的模型参数，对所述语音增强模型进行训练。

2.如权利要求1所述的训练方法，其特征在于，第一纯净语音样本和第二纯净语音样本不同。

3.如权利要求1所述的训练方法，其特征在于，每个说话人的第一纯净语音样本包括多条纯净语音样本；

其中，所述获取每个说话人对应的特征向量，包括：

将所述多条纯净语音样本的幅度谱输入所述特征提取网络，获得每个说话人对应的多个特征向量。

4.如权利要求3所述的训练方法，其特征在于，每个说话人的第二纯净语音样本包括多条纯净语音样本，相应得到的每个说话人对应的所述含噪语音样本包括多条含噪语音样本；

其中，所述获取每个说话人对应的所述含噪语音样本的幅度谱，包括：

分别提取所述多条含噪语音样本的幅度谱以获得每个说话人对应的多个幅度谱。

5.如权利要求4所述的训练方法，其特征在于，所述将所述特征向量作为辅助向量与所述幅度谱一起输入所述语音增强网络，得到估计的掩膜比，包括：

将每个说话人对应的所述多个特征向量求平均，获得每个说话人对应的平均特征向量；

将每个说话人对应的平均特征向量扩充至与每个说话人对应的所述多个幅度谱相同的维度；

分别将每个说话人的所述多个幅度谱与相应说话人的扩充后的平均特征向量进行串联以获得每个说话人对应的多个串联后的特征；

将每个说话人对应的所述多个串联后的特征作为所述语音增强网络的输入。

6.如权利要求1所述的训练方法，其特征在于，所述根据所述估计的掩膜比确定估计的增强语音信号，包括：

分别将所述幅度谱与所述估计的掩膜比相乘，获得估计的幅度谱，并将所述估计的幅度谱与所述含噪语音样本的相位谱结合并执行时频逆变换，以获得估计的增强语音。

7.如权利要求1所述的训练方法，其特征在于，所述根据估计的增强语音信号和第二纯净语音样本确定所述语音增强模型的损失函数，包括：

基于估计的增强语音信号和第二纯净语音样本，计算语音失真度，作为所述损失函数。

8.如权利要求7所述的训练方法，其特征在于，所述根据估计的增强语音信号和第二纯净语音样本确定所述语音增强模型的损失函数，还包括：

基于所述多个说话人的特征向量中的相同说话人的特征向量的余弦相似度得分和所述多个说话人的特征向量中的不同说话人的特征向量之间的余弦相似度得分，计算交叉熵损失函数；

将所述语音失真度与所述交叉熵损失函数之和，作为最终的所述损失函数。

9.如权利要求7所述的训练方法，其特征在于，所述基于估计的增强语音信号和第二纯净语音样本，计算语音失真度，包括：

针对每个第二纯净语音样本与相应的估计的增强语音信号计算语音失真度，以获得多个语音失真度，并对所述多个语音失真度求平均，获得所述语音失真度。