[发明专利]一种重叠语音的检测方法、装置、电子设备及存储介质

说明书

本申请提供了一种重叠语音的检测方法、装置、电子设备及存储介质，包括：将待检测语音输入特征提取网络层，确定出待检测语音的每一音频段的幅度谱语音特征和相位谱语音特征；将各个音频段的幅度谱语音特征输入第一残差网络层，确定出幅度重叠得分矩阵；以及将各个音频段的相位谱语音特征输入第二残差网络层，确定出相位重叠得分矩阵；将幅度重叠得分矩阵和幅度重叠得分矩阵输入聚合网络层进行聚合处理，确定待检测语音中是否存在重叠语音，并在存在时，输出重叠语音的起始时间和终止时间。通过将待检测语音输入到重叠语音检测模型中，将幅度重叠得分矩阵、相位重叠得分矩阵进行聚合处理，从而可以提高对重叠语音识别的准确率。

技术领域

本申请涉及语音检测技术领域，尤其是涉及一种重叠语音的检测方法、装置、电子设备及存储介质。

背景技术

语音重叠检测是指在一段连续的多人说话的语音中检出多人同时说话的起始时间和结束时间。随着人工智能技术的发展，对于语音重叠算法的精度要求越来越高，因为在智能音箱、助听器、会议记录等应用设备中，麦克风接收到的语音信号常常伴随着背景噪音或者其他说话人声的干扰，若是不能准确地确定出重叠语音，将会严重影响到后端的应用，出现目标语音不清晰、语义识别不准或记录不准确的问题。

现阶段，一般采用基于无监督聚类的语音重叠算法进行确定，但是这种方法在面对大数据量语音文件时会导致更容易受到噪声信息的干扰，导致最终重叠语音确定的准确率降低。所以，如何快速准确的确定出重叠语音成为了亟需解决的问题。

发明内容

有鉴于此，本申请的目的在于提供一种重叠语音的检测方法、装置、电子设备及存储介质，从而提高对重叠语音识别的准确率。

本申请实施例提供了一种重叠语音的检测方法，所述检测方法包括：

获取待检测语音；

将所述待检测语音输入至预先训练好的重叠语音检测模型的特征提取网络层，确定出所述待检测语音的每一音频段的幅度谱语音特征和相位谱语音特征；

将各个音频段的所述幅度谱语音特征输入至重叠语音检测模型的第一残差网络层，确定出幅度重叠得分矩阵；以及将各个音频段的所述相位谱语音特征输入至重叠语音检测模型的第二残差网络层，确定出相位重叠得分矩阵；其中，所述幅度重叠得分矩阵表征所述待检测语音的每个音频段在幅度维度上的重叠程度；所述相位重叠得分矩阵表征所述待检测语音的每个音频段在相位维度上的重叠程度；所述第一残差网络层和所述第二残差网络层均包括多头注意力机制提取单元；

将所述幅度重叠得分矩阵和所述幅度重叠得分矩阵输入至重叠语音检测模型的聚合网络层进行聚合处理，确定所述待检测语音中是否存在重叠语音，并在存在时，输出重叠语音的起始时间和终止时间。

在一种可能的实施方式中，通过以下步骤训练所述重叠语音检测模型：

获取多条非重叠样本语音；

针对任意至少两条所述非重叠样本语音，对该至少两条所述非重叠样本语音进行重叠构造，确定出一条重叠样本语音；其中，所述重叠样本语音为该至少两条所述非重叠样本语音进行全部重叠构造或部分重叠构造生成的；

基于确定出的多条所述重叠样本语音所携带的重叠语音标签和多条非重叠样本语音所携带的非重叠语音标签对初始神经网络模型进行训练，确定出所述重叠语音检测模型。

在一种可能的实施方式中，将各个音频段的所述幅度谱语音特征输入至重叠语音检测模型的第一残差网络层，确定出幅度重叠得分矩阵，包括：

针对于每个所述音频段的所述幅度谱语音特征，将所述幅度谱语音特征输入至一维卷积单元，对所述幅度谱语音特征进行一维卷积处理，确定出幅度谱语音第一特征；

将所述幅度谱语音第一特征输入至多尺度特征提取单元，对所述幅度谱语音第一特征在多尺度特征维度上进行非线性特征拟和，确定出幅度谱语音第二特征；