[发明专利]说话人分离模型训练方法、两说话人分离方法及相关设备

说明书

一种说话人分离模型训练方法，包括：获取多个音频数据并进行预处理；提取预处理后的音频数据的音频特征；将音频特征输入至预设神经网络模型中进行训练得到矢量特征；计算第一说话人的第一矢量特征与第二矢量特征之间的第一相似度；计算第一说话人的第一矢量特征与第二说话人的第三矢量特征之间的第二相似度；计算第一相似度及第二相似度的损失函数值，当损失函数值小于或等于预设损失函数阈值时，结束说话人分离模型的训练过程，并更新模型中的参数。本发明还提供一种两说话人分离方法、终端及存储介质。能够显著的增强模型对输入的语音数据的特征提取能力，提高两说话人分离的准确率，尤其是在长时对话的分离任务中能取得更佳的分离效果。

技术领域

本发明涉及生物识别技术领域，具体涉及一种说话人分离模型训练方法、两说话人分离方法、终端及存储介质。

背景技术

随着音频处理技术的不断提高，从海量的数据中，如电话录音、新闻广播、会议录音等，获取感兴趣的特定人声已成为研究热点。说话人分离技术是指从多人对话中自动地将语音依据说话人进行划分，并加以标记的过程，即解决的是“什么时候由谁说”的问题。

而两说话人分离则是指将录制在同一段音轨上的两个说话人轮流讲话的录音分离，成为两段音轨，每段音轨只包含其中一个说话人的讲话录音。两说话人广泛应用于诸多领域，在广播，电视，媒体，客服中心等行业和领域有着广泛的需求。

传统的以贝叶斯信息准则(Bayesian Information Criterion，BIC)作为相似性度量的说话人分离技术，在短时对话的分离任务中能取得较好的效果，但是随着对话时长的增加，BIC的单高斯模型不足以描述不同说话人数据的分布，因而其说话人分离的效果较差。

发明内容

鉴于以上内容，有必要提出一种说话人分离模型训练方法、两说话人分离方法、终端及存储介质，事先训练说话人分离模型，能够显著的增强模型对输入的语音数据的特征提取能力，减轻网络层次加深时而性能降低的风险；根据训练好的说话人分离模型对两说话人的语音进行分离，提高了两说话人分离的准确率，尤其是在长时对话的分离任务中能取得更佳的分离效果。

本发明的第一方面提供一种说话人分离模型训练方法，所述方法包括：

获取多个人的多个音频数据；

对每一个音频数据进行预处理；

提取预处理后的音频数据的音频特征；

将所述音频特征输入至预设神经网络模型中进行训练得到矢量特征；

获取第一说话人的第一矢量特征及第二矢量特征，并根据预设第一相似度函数计算所述第一矢量特征与所述第二矢量特征之间的第一相似度；

获取第二说话人的第三矢量特征，并根据预设第二相似度函数计算所述第一矢量特征与所述第三矢量特征之间的第二相似度；

将所述第一相似度及所述第二相似度输入至预设损失函数中计算损失函数值，当损失函数值小于或等于预设损失函数阈值时，结束说话人分离模型的训练过程，并更新所述说话人分离模型中的参数。

根据本发明的一个优选实施例，对所述音频数据进行预处理包括：

对所述音频数据进行降噪处理；

对降噪处理后的音频数据进行语音端点检测，删除无效语音，得到标准语音数据样本；

对标准语音数据样本进行标注，以表明所述标准语音数据样本所属的说话人。

根据本发明的一个优选实施例，所述预设神经网络模型采用预设层数的神经网络结构堆叠而成；每一层神经网络结构包括：第一卷积层、第一修正线性单元、第二卷积层、第二修正线性单元、平均层、全连接层及归一化层，其中，卷积层的卷积核为3*3，步长为1*1，通道数为64；