[发明专利]一种重叠语音的检测方法、装置、电子设备及存储介质

权利要求书

1.一种重叠语音的检测方法，其特征在于，所述检测方法包括：

获取待检测语音；

将所述待检测语音输入至预先训练好的重叠语音检测模型的特征提取网络层，确定出所述待检测语音的每一音频段的幅度谱语音特征和相位谱语音特征；

将各个音频段的所述幅度谱语音特征输入至重叠语音检测模型的第一残差网络层，确定出幅度重叠得分矩阵；以及将各个音频段的所述相位谱语音特征输入至重叠语音检测模型的第二残差网络层，确定出相位重叠得分矩阵；其中，所述幅度重叠得分矩阵表征所述待检测语音的每个音频段在幅度维度上的重叠程度；所述相位重叠得分矩阵表征所述待检测语音的每个音频段在相位维度上的重叠程度；所述第一残差网络层和所述第二残差网络层均包括多头注意力机制提取单元；

将所述幅度重叠得分矩阵和所述相位重叠得分矩阵输入至重叠语音检测模型的聚合网络层进行聚合处理，确定所述待检测语音中是否存在重叠语音，并在存在时，输出重叠语音的起始时间和终止时间。

2.根据权利要求1所述的检测方法，其特征在于，通过以下步骤训练所述重叠语音检测模型：

获取多条非重叠样本语音；

针对任意至少两条所述非重叠样本语音，对该至少两条所述非重叠样本语音进行重叠构造，确定出一条重叠样本语音；其中，所述重叠样本语音为该至少两条所述非重叠样本语音进行全部重叠构造或部分重叠构造生成的；

基于确定出的多条所述重叠样本语音所携带的重叠语音标签和多条非重叠样本语音所携带的非重叠语音标签对初始神经网络模型进行训练，确定出所述重叠语音检测模型。

3.根据权利要求1所述的检测方法，其特征在于，将各个音频段的所述幅度谱语音特征输入至重叠语音检测模型的第一残差网络层，确定出幅度重叠得分矩阵，包括：

针对于每个所述音频段的所述幅度谱语音特征，将所述幅度谱语音特征输入至一维卷积单元，对所述幅度谱语音特征进行一维卷积处理，确定出幅度谱语音第一特征；

将所述幅度谱语音第一特征输入至多尺度特征提取单元，对所述幅度谱语音第一特征在多尺度特征维度上进行非线性特征拟和，确定出幅度谱语音第二特征；

将所述幅度谱语音第二特征输入至多头注意力机制提取单元，对所述幅度谱语音第二特征进行加权平均值和加权标准差处理，确定出幅度谱语音第三特征；

将所述幅度谱语音第三特征输入至降维单元，对所述幅度谱语音第三特征进行降维处理，确定出幅度谱语音第四特征；

将所述幅度谱语音第四特征输入至分类单元，对所述幅度谱语音第四特征进行二分类处理，确定出幅度重叠得分向量；

基于各个所述音频段的幅度重叠得分向量，确定所述幅度重叠得分矩阵；

其中，所述第一残差网络层包括所述一维卷积单元、所述多尺度特征提取单元、所述多头注意力机制提取单元、所述降维单元以及所述分类单元。

4.根据权利要求1所述的检测方法，其特征在于，通过以下步骤对所述幅度重叠得分矩阵和所述相位重叠得分矩阵进行聚合处理，确定所述待检测语音中是否存在重叠语音：

对所述幅度重叠得分矩阵和所述相位重叠得分矩阵进行平均值计算，确定出平均值矩阵；

基于所述平均值矩阵，确定出所述待检测语音中是否存在重叠语音。

5.根据权利要求1所述的检测方法，其特征在于，通过以下步骤对所述幅度重叠得分矩阵和所述相位重叠得分矩阵进行聚合处理，确定所述待检测语音中是否存在重叠语音：

基于所述幅度重叠得分矩阵、幅度重叠得分矩阵所对应的音频段在幅度维度上的重叠程度标签、相位重叠得分矩阵以及相位重叠得分矩阵所对应的音频段在相位维度上的重叠程度标签，确定出得分矩阵标签数据集；

利用惩罚函数，对所述得分矩阵标签数据集进行构造并求解凸二次规划，确定出拉格朗日乘子的最优解序列；

在所述拉格朗日乘子的最优解序列中的任一个拉格朗日乘子的分量进行计算，确定出分类决策函数；

基于所述分类决策函数，确定所述待检测语音中是否存在重叠语音。