[发明专利]基于门控递归融合深度嵌入式特征的多通道语音分离系统

权利要求书

1.基于门控递归融合深度嵌入式特征的多通道语音分离系统，其特征在于包括：门控递归融合模块、深度嵌入式特征提取模块、语音分离模块、区分性训练模块和联合训练模块，门控递归融合模块，将空间信息和幅值谱信息进行深度融合，输出门控递归融合特征；深度嵌入式特征提取模块，通过深度嵌入式特征损失目标函数，从门控递归融合特征中提取更具有区分性的深度嵌入式特征；语音分离模块，基于句子级别的排列不变性训练准则进行语音分离，将深度嵌入式特征分离，得到每个源目标语音信号；区分性训练模块，通过区分后的源目标语音信号得到区分性损失目标函数；联合训练模块，通过对区分性损失目标函数和深度嵌入式特征损失目标函数的联合训练，优化门控递归融合模块、深度嵌入式特征提取模块和语音分离模块。

2.如权利要求1所述的基于门控递归融合深度嵌入式特征的多通道语音分离系统，其特征在于所述门控递归融合模块，使用通道间的相位差的正弦和余弦值作为空间信息特征，具体流程为：

h′_p＝r⊙h_p

r是重置门，z是更新门，σ表示sigmoid函数，W_r和W_z是重置门和更新门的权重，h_p是隐状态，是空间信息特征，⊙表示元素间的乘积，是记忆细胞，W_h是权重，h_q即f^GRF表示门控递归融合特征：

混合语音的幅值谱经深度神经网络提取得到幅值谱特征r_y，空间信息特征和幅值谱特征r_y交替利用门控递归融合模块完成深度的结合。

3.如权利要求2所述的基于门控递归融合深度嵌入式特征的多通道语音分离系统，其特征在于所述深度嵌入式特征提取模块，对输入的混合语音信号进行短时傅里叶变换，将时域信号变换到频域信号，然后对其进行建模，获得更具有区分性的深度嵌入式特征，深度嵌入式特征采用深度神经网络训练得到：

N_m表示麦克风阵列的通道数，训练损失目标函数为：

J_DC表示深度嵌入式特征的损失目标函数，V是深度嵌入式特征，表示实数，B表示每一个时频块的源对应关系，TF指经过傅里叶变换后的时频块，C是混合说话人的个数，表示平方Frobenius范数。

4.如权利要求3所述的基于门控递归融合深度嵌入式特征的多通道语音分离系统，其特征在于所述语音分离模块，利用深度嵌入式特征V进行语音分离，分离的输出为估计的理想相位敏感掩蔽值

f_γ(*)表示基于深度神经网络的非线性映射函数，对于语音分离模块的训练方向为：

J_φ(s)表示对应排列组合的损失函数，|Y|表示混合语音的幅值谱，|X_s|表示目标源s的幅值谱，θ_y和θ_s分别表示混合语音和目标源s的相位，利用混合的幅值谱|Y|与相位敏感掩蔽值相乘得到估计的目标语音的幅值谱，在估计的幅值谱和真实的幅值谱之间计算均方误差；

所述句子级别的排列不变性训练准则是指对神经网络输出的各个目标语音信号X_s进行排列组合，分别计算对应的均方误差，选择最小的作为训练的目标函数，训练目标函数为：

P表示所有可能的排列组合，φ^*表示最优的排列组合。

5.如权利要求4所述的基于门控递归融合深度嵌入式特征的多通道语音分离系统，其特征在于所述区分性训练模块，其损失目标函数为：

α≥0表示区分性学习的正则化参数。