[发明专利]一种多尺度时延采样的单通道语音分离方法

说明书

本发明提供了一种基于多尺度时延采样的单通道语音分离方法，提取多个说话人混合语音信号混合语音特征，对混合语音特征进行分割，并拼接成3D张量，采用第一双向循环神经网络迭代地对3D张量进行建模，捕获局部特征信息和全局特征信息，采用多尺度时延采样建模，对第一双向循环神经网络的输出进行不同尺度的时延采样，并采用第二双向循环神经网络捕获不同尺度下的特征信息，将特征信息进行重叠相加，并映射为多个说话人纯净语音的掩码，再将掩码与混合语音特征进行点乘，得到多个说话人的纯净语音表征，将每个人的纯净语音表征重构成分离后的语音信号。本发明通过多尺度时延采样建模，弥补分段式建模中的信息缺失，极大地提升了语音分离性能。

技术领域

本发明属于语音分离领域，具体涉及一种多尺度时延采样的单通道语音分离方法。

背景技术

近年来，随着深度学习的崛起，由其引发的人工智能热潮改变着人们生活的方方面面。而语音交流是必不可少的一部分，一条清晰的语音能使得智能电器更好的执行相应的命令，极大地提升智能化程度。但在真实的声学场景中，我们感兴趣的说话人语音通常会受到其他说话人的干扰，这是一个典型的鸡尾酒会问题。得益于人耳独特的听觉系统，我们可以很容易分辨出目标说话人的语音内容，因而语音分离所做的就是模拟人耳的听觉系统，从混合的说话人语音中分离出一个或所有说话人的纯净语音，从而去除背景噪声、混响等干扰，提升语音的清晰度、可懂度。

目前主流的语音分离方法大多采用的是端到端的时域分离，它通过数据驱动的方式，让模型自己学习混合语音波形中的潜在公共表示，以此来实现分离。这种分离方法对于语音预处理时的分帧要求极高，研究表明相同时间内一段混合语音分的帧越多，它最后的分离效果也越好。但过多的帧又会导致无法建模，为了解决这个问题，Yi Luo等在Dual-path rnn:efficient long sequence modeling for time-domain single-channelspeech separation一文中提出了双路结构的分段式建模方法，有效的实现了长序列语音的采样点级别建模，极大的提升了语音分离的性能。但这种分段式建模方法在捕获全局信息时会使得序列中的相邻帧在原始的序列中相隔太远，彼此间几乎没有什么相互关系，并且存在许多帧与帧之间的关系未被捕获，严重导致了信息的缺失。

发明内容

针对现有技术中存在不足，本发明提供了一种多尺度时延采样的单通道语音分离方法，通过多尺度时延采样建模，弥补分段式建模中的信息缺失，进一步提升分离的性能。

一种多尺度时延采样的单通道语音分离方法，包括以下步骤：

S1，对多个说话人混合语音信号提取混合语音特征；

S2，对所述混合语音特征进行分割，并拼接成3D张量；

S3，采用第一双向循环神经网络迭代地对3D张量进行建模，捕获局部特征信息和全局特征信息；

S4，采用多尺度时延采样建模，对第一双向循环神经网络的输出进行不同尺度的时延采样，并采用第二双向循环神经网络捕获不同尺度下的特征信息；

S5，将S4中的特征信息进行重叠相加，重叠相加后的结果映射为多个说话人纯净语音的掩码，再将所述掩码与所述混合语音特征进行点乘，得到多个说话人的纯净语音表征；

S6，将每个人的纯净语音表征重构成分离后的语音信号。

进一步地，对第一双向循环神经网络的输出进行单一尺度的时延采样，具体过程为：

对双向循环神经网络的输出进行序列重组和重新分段，对重新分段拼接后的序列沿着块长维度2^λK进行时延采样，对时延采样后的每个序列u_i沿着分块维度R′进行拼接，获取时延采样后重组的3D张量h_λ，其中2^λ是时延采样率，λ＝0,...,B-1是采样指数，B代表了堆叠的多尺度时延采样块的个数，K表示重新分段前的块长维度。