[发明专利]一种多人的语音分离方法、装置、电子设备和存储介质

说明书

本申请涉及人工智能技术领域，尤其涉及机器学习技术领域，提供了一种多人的语音分离方法、装置、电子设备和存储介质，用以提高说话人语音分离的准确性和语音分离效率。其中方法包括：获取待分离的混合波形信号，混合波形信号包含多人的语音；对混合波形信号进行特征提取，获得混合波形信号的编码特征；通过对编码特征进行特征提取，从编码特征中分离出每个人的语音特征；基于每个人的语音特征以及编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得每个人的重建语音信号。本申请提出了一种更为通用、开放和灵活的方法来模拟鸡尾酒会效应，不需要复杂的前处理流程，提高了语音分离的准确性和效率。

技术领域

本申请涉及人工智能技术领域，尤其涉及机器学习技术领域，提供了一种多人的语音分离方法、装置、电子设备和存储介质。

背景技术

鸡尾酒会效应是人脑听觉具有的可以集中注意力“调入(Tune in)”单个目标声音而“调出”其他竞争声音的能力的现象。尽管人脑听觉如何解决鸡尾酒会问题内部机理仍然未知，但是由于深度学习技术的飞速发展，用于说话人的识别和验证任务的深度学习模型也在快速发展。然而，它们通常与上述鸡尾酒会问题或语音分离任务无关。并且，相关技术中的说话人的识别和验证方法通常需要复杂的前处理流程，包括语音活动检测(SAD)，分段和聚类模块，以将短片段分组以对应于一个说话人的身份等。在严重干扰的情况下，说话人语音分离准确性也较低。

发明内容

本申请实施例提供一种多人的语音分离方法、装置、电子设备和存储介质，用以提高说话人语音分离的准确性和语音分离效率。

本申请实施例提供的一种多人的语音分离方法，包括：

获取待分离的混合波形信号，所述混合波形信号包含多人的语音；

对所述混合波形信号进行特征提取，获得所述混合波形信号的编码特征；

通过对所述编码特征进行特征提取，从所述编码特征中分离出每个人的语音特征；

基于每个人的语音特征以及所述编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得每个人的重建语音信号。

本申请实施例提供的一种多人的语音分离装置，包括：

信号获取单元，用于获取待分离的混合波形信号，所述混合波形信号包含多人的语音；

特征提取模块，用于对所述混合波形信号进行特征提取，获得所述混合波形信号的编码特征；

知识表征模块，用于通过对所述编码特征进行特征提取，从所述编码特征中分离出每个人的语音特征；

信号重建模块，用于基于每个人的语音特征以及所述编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得每个人的重建语音信号。

可选的，所述特征提取模块，具体用于将所述混合波形信号输入已训练的语音分离模型，基于所述已训练的语音分离模型对所述混合波形信号进行特征提取，获得所述编码特征；

所述知识表征模块，具体用于基于所述已训练的语音分离模型，对所述编码特征进行特征提取，获得每个人的语音特征；

所述信号重建模块，具体用于基于所述已训练的语音分离模型，根据每个人的语音特征以及所述编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得所述已训练的语音分离模型输出的每个人的重建语音信号；

其中，所述已训练的语音分离模型是根据训练样本数据集训练得到的，所述训练样本数据集中的训练样本包括多人的多条语音样本。

可选的，所述已训练的语音分离模型包括通用子网络；所述通用子网络包括编码器以及由B个全局关注局部循环单元组成的堆栈，B为正整数；