[发明专利]一种多人的语音分离方法、装置、电子设备和存储介质

权利要求书

1.一种多人的语音分离方法，其特征在于，该方法包括：

获取待分离的混合波形信号，所述混合波形信号包含多人的语音；

将所述混合波形信号输入已训练的语音分离模型，所述已训练的语音分离模型包括通用子网络；所述通用子网络包括编码器以及由B个全局关注局部循环单元组成的堆栈，B为正整数；

将所述混合波形信号经由所述编码器转化为二维时间序列；将所述二维时间序列分割为S段局部序列，并将分割得到的S段局部序列打包形成三维输入张量，其中每相邻两个局部序列之间存在部分重叠，S为正整数；将所述三维输入张量输入由B个全局关注局部循环单元组成的堆栈，进行B次特征提取，获得由最后一个全局关注局部循环单元输出的所述混合波形信号的编码特征，其中每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入，且第一个全局关注局部循环单元的输入为所述三维输入张量，每个全局关注局部循环单元的输入特征和输出特征的形状相同；

通过对所述编码特征进行特征提取，从所述编码特征中分离出每个人的语音特征；

基于每个人的语音特征以及所述编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得所述已训练的语音分离模型输出的每个人的重建语音信号；

其中，所述已训练的语音分离模型是根据训练样本数据集训练得到的，所述训练样本数据集中的训练样本包括多人的多条语音样本。

2.如权利要求1所述的方法，其特征在于，所述通用子网络中的全局关注局部循环单元包括局部循环层和全局关注层；

所述局部循环层用于对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L；

所述全局关注层用于基于多头自我注意力机制，对所述全局关注局部循环单元的中间张量G中的每段局部序列进行段间处理；将基于多头自我注意力机制处理得到的张量进行线性映射后拼接得到三维张量，作为所述全局关注局部循环单元的输出特征，其中所述中间张量G是对所述中间张量L进行线性映射和层归一化处理后得到的张量与位置编码张量的和。

3.如权利要求1所述的方法，其特征在于，所述已训练的语音分离模型还包括说话人知识子网络；所述说话人知识子网络包括由B1个全局关注局部循环单元组成的堆栈和嵌入层，B1为正整数；

所述通过对所述编码特征进行特征提取，从所述编码特征中分离出每个人的语音特征，具体包括：

将所述编码特征输入由B1个全局关注局部循环单元组成的堆栈，进行B1次特征提取，其中每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入，且第一个全局关注局部循环单元的输入为所述编码特征，每个全局关注局部循环单元的输入特征和输出特征的形状相同；

将最后一个全局关注局部循环单元的输出特征输入所述嵌入层，经过所述嵌入层进行投射及合并处理，获得每个人的语音特征。

4.如权利要求3所述的方法，其特征在于，所述说话人知识子网络中的全局关注局部循环单元包括局部循环层和全局关注层；

所述局部循环层用于对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L1；

所述全局关注层用于基于多头自我注意力机制，对所述全局关注局部循环单元的中间张量G1中的每段局部序列进行段间处理；将基于多头自我注意力机制处理得到的张量进行线性映射后拼接得到三维张量，作为所述全局关注局部循环单元的输出特征，其中所述中间张量G1是对所述中间张量L1进行线性映射和层归一化处理后得到的张量与位置编码张量的和。