[发明专利]用于语音分离、识别的短时傅里叶变化的优化方法及系统

说明书

本发明实施例提供一种用于语音分离的短时傅里叶变化的优化方法。该方法包括：通过设定窗长上限的窗函数控制短时傅里叶变换的滑动窗口长度，使滑动窗口长度连续可变；利用短时傅里叶变换的滑动窗口长度对混合噪声训练语音进行处理，得到音频幅度谱；将音频幅度谱输入至语音分离模型进行有监督训练，根据有监督训练的收敛结果从长度连续可变的滑动窗口中确定备选窗口长度。本发明实施例还提供一种用于语音分离的短时傅里叶变化的优化系统。本发明实施例通过控制窗内参数将不能训练离散窗长转换为连续的量，这样即可实现训练窗长的目的。可以通过训练得到适合该数据集的最优窗长，进而提升语音分离和识别的效果。

技术领域

本发明涉及智能语音领域，尤其涉及一种用于语音分离、识别的短时傅里叶变化的优化方法及系统。

背景技术

由于深度学习的进步，端到端训练已成为基于深度学习的许多语音处理任务的趋势。虽然模型中的大部分参数可以在训练阶段使用端到端的损失函数进行优化，但由于不可微分，短时傅立叶变换(STFT)的参数仍然需要手动设置计算。STFT通过时域数据滑动窗口并计算窗口内数据的傅立叶变换。不可微的参数包括窗口长度、跳跃大小等。STFT的滑动窗口长度是语音处理中极其重要的参数。一方面，语音信号只能看作是小窗口中的静止信号。因此过大的窗口可能会使语音信号不稳定；另一方面，STFT的滑动窗口长度影响时间分辨率、频率分辨率和重建精度。窄窗口导致精细的时间分辨率和重建精度，但会导致粗糙的频率分辨率。宽窗口导致良好的频率分辨率，但时间分辨率和重建精度较差。因此，为语音信号选择一个好的STFT窗口大小对网络的性能很重要。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

大多数与语音相关的任务都使用人工设定的STFT(短时傅立叶变换)参数，这可能导致无法得到最优模型。也有一些相关的工作寻找最优STFT参数，但大多是基于附加算法，不能与主要任务进行端到端的训练。

发明内容

为了至少解决现有技术中短时傅里叶变换的窗口长度都是人工设定，应用于语音处理任务中可能过宽或过小或无法得到最优模型的问题。

第一方面，本发明实施例提供一种用于语音分离的短时傅里叶变化的优化方法，包括：

通过设定窗长上限的窗函数控制短时傅里叶变换的滑动窗口长度，使所述滑动窗口长度连续可变；

利用所述短时傅里叶变换的滑动窗口长度对混合噪声训练语音进行处理，得到音频幅度谱；

将所述音频幅度谱输入至语音分离模型进行有监督训练，根据所述有监督训练的收敛结果从长度连续可变的滑动窗口中确定备选窗口长度。

第二方面，本发明实施例提供一种用于语音识别的短时傅里叶变化的优化方法，包括：

通过设定窗长上限的窗函数控制短时傅里叶变换的滑动窗口长度，使所述滑动窗口长度连续可变；

利用所述短时傅里叶变换的滑动窗口长度，将训练语音转换为时频谱；

将所述时频谱输入至语音识别模型，根据预测识别结果与预设实际识别结果的误差进行端到端训练，根据训练结果从长度连续可变的滑动窗口中确定备选窗口长度。

第三方面，本发明实施例提供一种用于语音分离的短时傅里叶变化的优化系统，包括：

窗长设定程序模块，用于通过设定窗长上限的窗函数控制短时傅里叶变换的滑动窗口长度，使所述滑动窗口长度连续可变；

音频处理程序模块，用于利用所述短时傅里叶变换的滑动窗口长度对混合噪声训练语音进行处理，得到音频幅度谱；

训练程序模块，用于将所述音频幅度谱输入至语音分离模型进行有监督训练，根据所述有监督训练的收敛结果从长度连续可变的滑动窗口中确定备选窗口长度。