[发明专利]基于语音处理的说话人分离方法、装置、设备及存储介质

权利要求书

1.一种基于语音处理的说话人分离方法，其特征在于，所述方法包括：

获取待处理语音，根据所述待处理语音的说话人变化点标记及预设的时间尺度对所述待处理语音进行分割，得到至少一个语音片段集；

分别生成每个语音片段集的语音特征，基于预先构建的模型分别对每个语音片段集的语音特征执行特征提取和特征融合操作，得到每个语音片段集的目标特征矩阵；

计算每个目标特征矩阵的相似度矩阵，基于谱聚类算法对每个相似度特征矩阵进行聚类操作得到每个语音片段集的聚类结果；

对每个语音片段集的聚类结果执行投票操作，生成所述待处理语音的目标结果，所述目标结果包括所述待处理语音的说话人起始时间点、说话时长及/或说话人标签信息；

所述基于预先构建的模型分别对每个语音片段集的语音特征执行特征提取和特征融合操作，得到每个语音片段集的目标特征矩阵，包括：

分别利用所述模型的多层特征提取网络，对每个语音片段集的语音特征执行特征提取操作，得到每个语音片段集的多个初始特征矩阵；

利用所述模型的特征融合网络分别对每个语音片段集的多个初始特征矩阵执行融合操作，将融合操作的结果经过注意力数据池化、全连接、归一化及附加角边损失激活处理，得到每个语音片段集的目标特征矩阵，其中，所述模型有5层特征提取网络，5层特征提取网络提取的语音特征由浅层逐渐递增到深层。

2.如权利要求1所述的基于语音处理的说话人分离方法，其特征在于，所述根据所述待处理语音的说话人变化点标记及预设的时间尺度对所述待处理语音进行分割，得到至少一个语音片段集，包括：

利用语音端点检测算法检测出所述待处理语音中每个语音片段的说话人变化点标记；

基于所述说话人变化点标记对所述待处理语音进行分割得到第一语音片段集；

根据预设的时间尺度对所述第一语音片段集进行均匀分割，得到第二语音片段集。

3.如权利要求2所述的基于语音处理的说话人分离方法，其特征在于，所述根据预设的时间尺度对所述第一语音片段集进行均匀分割，得到第二语音片段集，包括：

采用多个时间尺度分别对所述第一语音片段集中的每个语音片段进行分割，得到每个语音片段对应的多个子语音段；

汇总每个语音片段对应的多个子语音段，得到所述第二语音片段集。

4.如权利要求1所述的基于语音处理的说话人分离方法，其特征在于，所述分别利用所述模型的多层特征提取网络，对每个语音片段集的语音特征执行特征提取操作，得到每个语音片段集的多个初始特征矩阵，包括：

分别将每个语音片段集的语音特征输入所述模型的第一层特征提取网络，得到每个语音片段集的第一特征矩阵；

将每个语音片段集的第一特征矩阵输入所述模型的第二层特征提取网络，得到每个语音片段集的第二特征矩阵；

将每个语音片段集的第二特征矩阵输入所述模型的第三层特征提取网络，得到每个语音片段集的第三特征矩阵；

将每个语音片段集的第三特征矩阵输入所述模型的第四层特征提取网络，得到每个语音片段集的第四特征矩阵；

将每个语音片段集的第四特征矩阵输入所述模型的第五层特征提取网络，得到每个语音片段集的第五特征矩阵；

将每个语音片段集的第一特征矩阵、第二特征矩阵、第三特征矩阵、第四特征矩阵及第五特征矩阵，作为该语音片段集的多个初始特征矩阵。

5.如权利要求1所述的基于语音处理的说话人分离方法，其特征在于，所述基于谱聚类算法对每个相似度特征矩阵进行聚类操作得到每个语音片段集的聚类结果，包括：

根据每个相似度矩阵构建拉普拉斯矩阵；

获取每个拉普拉斯矩阵的前K个特征向量，构建每个所述前K个特征向量对应的矩阵，其中，前K个特征向量是基于最大特征间隙算法预测得到的；

基于K均值算法对每个所述K个特征向量对应的矩阵进行聚类操作，得到每个语音片段集的聚类结果。