[发明专利]说话人日志系统的性能评估方法、电子设备和存储介质

说明书

本发明公开一种说话人日志系统的性能评估方法、电子设备和存储介质。具体地，该方法包括：获取参考文档和与参考文档相匹配的由说话人日志系统输出的说话人日志，并提取参考文档和说话人日志所分别对应的参考段落集和预测段落集；基于预测段落集和参考段落集分别生成相应的第一子图和第二子图；当存在段落文本重叠时，为第一子图图形节点与第二子图图形节点之间分配边连接；基于第一子图与第二子图之间的节点连接关系，对说话人日志系统进行性能评估。由此，以每个段落为最小单位构建连接子图，不会忽略短段落的识别误差，使得对说话人日志的性能评估结果更加全面。

技术领域

本发明属于语音处理技术领域，尤其涉及一种说话人日志系统的性能评估方法、电子设备和存储介质。

背景技术

日志分析服务提供商针对数据提供存储、分析甚至对于结构化数据可以提供数据挖掘的服务，但对于语音日志，除了对数据的处理，更需要依托语音处理技术才能发挥分析和挖掘的价值。目前，正是由于日志分析服务提供商缺乏语音技术支撑所以在语音日志分析方面会有所欠缺。

随着语音日志技术的不断发展，说话人日志因能识别说话人及其讲话时长，解决“谁在何时讲话”的问题，得到了业内更加广泛的关注与应用。说话人日记通常被用作音频任务中的预处理步骤，它有几种应用场景：会议、电话录音等。对于日记化数据集，数据集变得更符合真实场景，这些场景包括自发的演讲、不同的来源等。这些特征使说话人数量和演讲持续时间发生很大变化，尤其是较短的话语。对于日志化方法，通过联合优化方法，如基于VBx的方法或端到端神经说话人日志(end-to-end neural diarization,EEND)，以及出现了多模态方法，都可以较佳地处理重叠语音和短句。

目前，对说话人日志系统进行评估的传统指标是DER(Diarization Error Rate,日志错误率)，但其并不能很好地利用这些特征对说话人日志系统进行评估。通过DER，能够对误报、漏报和说话人混淆时间与参考时间进行综合评价，直接计算了三类与日志相关的错误：误报、漏报和说话人混淆时间。因DER的评价指标的直观性，其在说话人日记中被广泛使用。

然而，DER对于短时段落的错误不敏感。这是因为短段落时间的占用天然会比长时间的占用少，导致长时间的占用错误的惩罚更多。其次，collar是日志错误率中的一个时间选项。如果collar被设置为大于0，那么在段边界前后collar大小的时期将在评估中被丢弃。这个选项最初是为了避免边界附近的人工标注噪声，但少于两个collar的段长也将被排除在评估之外。因此，短话语(例如，“是”或“不是”，所对应的时长小于1秒)仍然有语义信息，其所导致识别误差常常被忽略，此外，DER还忽略了说话少的人的错误，无法实现对说话人日志系统的全面、客观评价。

针对上述问题，目前业界暂时并未提供较佳的解决方案。

发明内容

本发明实施例提供一种说话人日志系统的性能评估方法、电子设备和存储介质，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种说话人日志系统的性能评估方法，包括：获取参考文档和与所述参考文档相匹配的由说话人日志系统输出的说话人日志，并提取所述参考文档和所述说话人日志所分别对应的参考段落集和预测段落集；基于所述预测段落集和所述参考段落集分别生成相应的第一子图和第二子图，其中，所述第一子图中的各个图形节点分别具有相应的预测段落，以及所述第二子图中的各个图形节点分别具有相应的参考段落；检测各个第一子图图形节点所对应的预测段落与各个第二子图图形节点所对应的参考段落之间是否存在相应段落文本重叠，并当存在段落文本重叠时，为所述第一子图图形节点与所述第二子图图形节点之间分配边连接；基于所述第一子图与所述第二子图之间的节点连接关系，对所述说话人日志系统进行性能评估。

第二方面，本发明实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法的步骤。