[发明专利]一种基于卷积神经网络的多说话人语音分离方法

说明书

本发明公开一种基于卷积神经网络的多说话人语音分离方法，包括以下步骤：S1：构建基于卷积神经网络的语音分离模型，所述模型包括嵌入生成网络和吸引子估计网络；所述嵌入生成网络用于将时频点从频谱图映射到嵌入空间，所述吸引子网络用于在高维嵌入空间中直接估计每个源的吸引子；S2：使用基于可分离门控卷积神经网络的嵌入生成网络将语谱图中的时频点映射到高维嵌入空间；S3：使用基于门控一维卷积的吸引子估计网络估计每个声源的吸引子。该网络在嵌入维度中完成卷积操作，将时间及频率维度作为通道维度。最后通过在高维空间计算每个吸引子与各个时频点的相似度，得到每个源的时频掩膜。

技术领域

本发明属于语音分离技术领域，尤其涉及一种基于卷积神经网络的多说话人语音分离方法。

背景技术

在深度吸引子网络(Deep Attractor Network，DANet)中，在训练阶段，DANet通过双向长短时记忆网络将语谱图中的时频单元映射到高维空间中，通过每个时频单元的真实划分计算出每个源的吸引子并通过计算每个吸引子与各个时频单元的距离得到每个源的时频掩膜。在测试阶段，吸引子由K-means算法得到。由于在测试阶段吸引子的计算方式不同，因此产生了中心不匹配问题(Center mismatch problem)。

发明内容

本发明提供一种基于卷积神经网络的多说话人语音分离方法，旨在解决上述存在的问题。

本发明是这样实现的，一种基于卷积神经网络的多说话人语音分离方法，包括以下步骤：

S1：获取多说话人语音的频谱图；

S2：构建基于可分离门控卷积神经网络，所述神经网络包括嵌入生成网络和吸引子计算网络；所述嵌入生成网络用于将时频点从频谱图映射到高维嵌入空间，所述吸引子计算网络用于在高维嵌入空间中直接计算每个声源的吸引子；

S3：使用基于可分离门控卷积神经网络的嵌入生成网络将频谱图中的时频点映射到高维嵌入空间；

S4：使用吸引子计算网络计算每个声源的吸引子，通过在高维嵌入空间计算每个吸引子与各个时频点的相似度，计算得到每个声源的时频掩膜；

S5：将每个声源的时频掩膜分别与多说话人语音的频谱图相乘，得到分离后每个声源的频谱图。

进一步的，所述语音分离方法使用多个可分离一维卷积块将频谱图的时频点映射到一个高维嵌入空间。

进一步的，所述语音分离方法使用一维门控卷积构成的吸引子计算网络在高维嵌入空间直接计算吸引子。

进一步的，所述吸引子计算网络通过将时间以及频率维度作为卷积操作中的通道维度，在嵌入维度上实现卷积操作，来计算吸引子。

与现有技术相比，本发明的有益效果是：解决了中心不匹配问题，相较于原方法计算速度更快，分离效果更好。

附图说明

图1为本发明网络架构示意图；

图2为本发明中基于EGN的设计卷积块结构图；

图3为本发明结构示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

请参阅图1-3，本发明提供一种技术方案：一种基于卷积神经网络的多说话人分离方法，包括以下步骤：

S1：获取多说话人语音的频谱图；