[发明专利]应用于说话人分离的转折点检测方法、装置以及设备

说明书

本发明公开了一种应用于说话人分离的转折点检测方法、装置以及设备，本发明的构思在于为转折点检测网络引入文本信息，尤其是引入辅助检测信息，从而减少不合理预测，特别是能够在保证语义连贯性和停顿合理的同时，对说话人转折点进行更为精准且更贴近自然语言的检测，会使得转折点检测结果在主观感受上的效果更优，进而可以有效改善用户体验。尤其地，通过文本及标点所蕴含的语义信息和断句信息，并结合声学层面的声纹特征共同对基于文本的转折点位置进行甄别，能够为转折点检测网络起到更佳的状态控制作用，使得最终输出的检测结果在综合了多角度的参考后预测精度更高，且更适应于各种复杂场景。

技术领域

本发明涉及语音处理领域，尤其涉及一种应用于说话人分离的转折点检测方法、装置以及设备。

背景技术

近年来，随着语音识别技术的逐渐发展，除了获得音频的识别文本之外，获得识别文本对应的说话人角色信息也成为了自动语音识别技术中一个重要的需求点。

说话人分离技术是为了解决“何人在何时说话”这一问题的，即把混合多个说话人的音频切分成只包含单一说话人的语音片段并确认说话人角色信息。在实际操作中，说话人分离技术可以作为语音识别的预处理过程，将属于同一人的音频抽取出来之后再进行转写，以提高识别效果；也可以作为语言识别的后处理过程，对识别结果进行说话人角色信息标注，例如电话客服场景对客户和客服角色的标注等。

而转折点则是说话人分离技术的一个重要的组成部分，是为了寻找语音流中说话人发生切换的时间点。当确认了说话人转折点之后，就可以对混合多个说话人的音频进行分割，通过对分割音频进行声纹提取以及比对操作即可获得对应的说话人角色信息。当然，对于说话人转折点检测，在基于说话人分离该技术前提下，也可以单独使用转折点将语言识别的混合多个说话人的文本进行区分展示或归档等。

转折点检测的常规方式是基于BIC准则的经典分割方法，并且随着技术更迭到目前已有多种相应的改进算法，其核心构思是计算“存在转折点”和“不存在转折点”两种模型假设的BIC距离。例如基于变窗的BIC分割方法，初始化一个窗并计算两个模型的BIC距离，如果BIC距离超过阈值则认为窗内存在转折点，否则就增加窗长直到检测到转折点。

该普遍采用的BIC分割构思是基于单高斯模型假设，通过简单的BIC距离度量，判断在滑窗区间内是否存在说话人转折点，该方式仅针对纯音频在时间域上进行划分，对齐到字域常常会出现精度问题，而且在噪声等复杂场景进行检测会过于敏感，导致虚警较高。

发明内容

鉴于上述，本发明旨在提供一种应用于说话人分离的转折点检测方法、装置以及设备，以及相应地提供了一种计算机可读存储介质和计算机程序产品，用以解决在字域进行转折点定位时精度不高、缺乏语义连贯性的问题。

本发明采用的技术方案如下：

第一方面，本发明提供了一种应用于说话人分离的转折点检测方法，其中，包括：

获取说话人的音频数据以及相应的转写文本；

根据所述音频数据和/或转写文本，得到辅助检测信息；

结合所述转写文本、所述音频数据、所述辅助检测信息以及预设的转折点检测策略，确定出所述转写文本中转折点的位置。

在其中至少一种可能的实现方式中，所述得到辅助检测信息包括：

利用所述转写文本以及预设的标点检测策略，得到对应于所述转写文本的标点信息。

在其中至少一种可能的实现方式中，所述利用所述转写文本以及预设的标点检测策略，得到对应于所述转写文本的标点信息包括：

将所述转写文本分词后输入至采用特定网络结构的标点检测模型；

将对应于各分词的所述标点检测模型的输出向量及其相应的中间状态向量进行融合，得到所述标点信息。