[发明专利]一种基于深度学习的端到端说话人分割方法及系统

摘要

本发明公开了一种基于深度学习的端到端说话人分割方法及系统，其通过采集第一单人语音和第二单人语音进行真实STFT特征提取、语音混合处理、混合STFT特征的提取、分割STFT特征的计算、真实STFT特征与分割STFT特征的比较、模型的优化，从而训练得到所需的模型；使用时，无需先将混合语音分割成多段短语音，再通过聚类算法将属于同一个说话人的多个短语音进行聚类处理得到同一个说话人的长语音；而是直接将待分割的混合语音输入训练好的模型即可输出每一个说话人的分割语音，这种端到端的方法可以避免中间过程的误差积累，分割精度更高。

主权项

1.一种基于深度学习的端到端说话人分割方法，其特征在于，包括以下步骤：a.模型训练步骤：a1.采集第一单人语音和第二单人语音，并计算所述第一单人语音对应的第一真实STFT特征和所述第二单人语音对应的第二真实STFT特征；a2.将所述第一单人语音和所述第二单人语音进行混合处理，得到训练用混合语音，并计算所述训练用混合语音的混合STFT特征；a3.根据步骤a2中所述混合STFT特征对所述混合语音进行分割处理，得到与所述第一单人语音对应的第一分割语音、第一分割STFT特征，以及与所述第二单人语音对应的第二分割语音、第二分割STFT特征；a4.对比所述第一真实STFT特征和所述第一分割STFT特征、所述第二真实STFT特征和所述第二分割STFT特征，构造损失函数；a5.根据所述损失函数进行优化模型参数，完成模型训练；b.说话人分割步骤：将待分割的混合语音输入所述模型中，输出分割后的不同说话人的分割语音；或者，对待分割的混合语音提取混合STFT特征，并将所述待分割的混合语音的混合STFT特征输入所述模型中，输出所述待分割的混合语音分割后的不同说话人的分割STFT特征，并进一步通过ISTFT变换得到不同说话人对应的分割语音。