[发明专利]语音增强模型的训练、识别方法、电子设备和存储介质

说明书

本发明公开了一种多任务融合的语音增强模型的训练方法，其包括获取回声信号源、干净语音和真实噪声。获取混响语音、带噪信号。获取待训练神经网络的训练标签。训练、获取语音增强模型。本发明实施例通过神经网络学习硬件系统引入的非线性失真特性，能够提升对残余非线性回声的抑制程度。利用神经网络优于传统线性预测、噪声估计算法的优点，可以得到更好的去混响和降噪效果。单一模型即可完成多种语音增强任务，算法集成简单高效，维护成本低。

技术领域

本发明属于语音处理及识别技术领域，尤其涉及语音增强模型的训练、识别方法、电子设备和存储介质。

背景技术

现有技术中，回声消除是指利用麦克风和参考音(回声信号源)估计传递路径函数，随后麦克风信号减去估计回声，实现对回声的抑制。去混响是指利用线性预测估计出晚期混响，随后原始信号减去晚期混响信号得到直达声与早期混响的混合信号。环境噪声抑制是指利用噪声估计算法估得噪声，再将其去除。

回声消除无法估计出硬件系统(如扬声器)的非线性失真，因此非线性失真大的系统的回声经回声消除后会有较多残余回声(非线性部分)无法去除。对于大混响环境，去混响算法需要很长的时间信号才能估准和生效，因此数据量的增加会引起对处理器运算能力成倍的增加。另外噪声环境下去混响算法效果也会明显下降。

环境噪声抑制算法存在噪声估计不准的情况，无法准确和及时地估得突变的非平稳噪声，如猫狗叫、开关门等噪声。另外，上述每个算法模块相对独立，无法融合成单一模块。

发明人发现：回声消除经过时频域转换，频点间认为是不相关的，这与硬件的非线性失真不符，因为非线性失真的频点间是有一定联系的。去混响语音信号观测模型中，假设观测信号不包含噪声，因此观测信号包含噪声时，噪声有可能导致滤波器性能恶化。

传统的噪声估计算法，如最小值跟踪算法、时间递归平均算法、基于直方图算法等，均基于假设：分析时间段内的噪声比语音更为平稳，即噪声变化速率比语音慢，因此无法准确和及时地估出突变的非平稳噪声。另外，这些不同算法模块的数学模型、假设条件、优化目标存在一定差异，因此无法将这些算法融合成一个统一的算法。

同时，传统信号处理方案基于数学严谨推导，是在统计意义上的最优解，因此在满足算法假设的场景内具有效果良好且稳定的性能，这也是大多数行业选择传统信号处理方案的原因。近年来，人工智能神经网络的技术迅速发展，在很多领域场景均体现出优于传统技术的趋势。

发明内容

本发明实施例旨在至少解决上述技术问题之一。

第一方面，本发明实施例提供一种多任务融合的语音增强模型的训练方法，其包括：获取回声信号源和干净语音。干净语音为仅有说话人声音无混响/近场的语音。获取多种房间空间内的混响时间、第一房间冲激响应和第二房间冲激响应。获取真实噪声。根据回声信号源、第一房间冲激响应获取模拟回声。根据干净语音和第二房间冲激响应获取混响语音。根据预设的信回比/信噪比范围，叠加模拟回声、混响语音和真实噪声得到带噪信号。根据带噪信号估得误差信号和估计回声/回声信号源。将第二房间冲激响应的直达信号及其早期混响保存为第三冲激响应。将干净语音卷积第三响应获取待训练神经网络的训练标签。将误差信号和估计回声/回声信号源的一种或多种语音特征，作为待训练神经网络模型训练的输入训练。将语音/噪声掩蔽值、语音/噪声幅度谱、语音/噪声复数谱作为待训练神经网络模型训练的输出训练。获取语音增强模型。

第二方面，本发明实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项多任务融合的语音增强模型的训练方法。