[发明专利]说话人日志系统的性能评估方法、电子设备和存储介质

权利要求书

1.一种说话人日志系统的性能评估方法，包括：

获取参考文档和与所述参考文档相匹配的由说话人日志系统输出的说话人日志，并提取所述参考文档和所述说话人日志所分别对应的参考段落集和预测段落集；

基于所述预测段落集和所述参考段落集分别生成相应的第一子图和第二子图，其中，所述第一子图中的各个图形节点分别具有相应的预测段落，以及所述第二子图中的各个图形节点分别具有相应的参考段落；

检测各个第一子图图形节点所对应的预测段落与各个第二子图图形节点所对应的参考段落之间是否存在相应段落文本重叠，并当存在段落文本重叠时，为所述第一子图图形节点与所述第二子图图形节点之间分配边连接；

基于所述第一子图与所述第二子图之间的节点连接关系，对所述说话人日志系统进行性能评估。

2.根据权利要求1所述的方法，其中，所述基于所述第一子图与所述第二子图之间的节点连接关系，对所述说话人日志系统进行性能评估，包括：

检测所述第二子图中是否存在未被分配边连接的孤立图形节点；

当检测到存在所述孤立图形节点，确定所述说话人日志系统针对所述孤立图形节点所对应的参考段落存在段落漏识别误差。

3.根据权利要求1所述的方法，其中，所述检测各个第一子图图形节点所对应的预测段落与各个第二子图图形节点所对应的参考段落之间是否存在相应段落文本重叠，包括：

获取所述参考文档中各个参考段落所对应的说话人参考标签，并解析所述说话人日志中各个预测段落所对应的说话人预测标签；

基于所述说话人参考标签和所述说话人预测标签，对所述预测段落集和所述参考段落集进行段落对齐匹配；

针对已完成段落对齐匹配的段落组，检测所述段落组中预测段落与相应的参考段落之间是否存在段落文本重叠。

4.根据权利要求3所述的方法，其中，所述基于所述第一子图与所述第二子图之间的节点连接关系，对所述说话人日志系统进行性能评估，包括：

针对各组具有边连接的第一子图图形节点与第二子图图形节点所对应的段落组，计算所述段落组中的预测段落与相应的参考段落之间的段落文本交并比；

当所述段落文本交并比小于自适应IoU阈值时，确定说话人日志系统针对所述第二子图图形节点所对应的参考段落的识别存在误差；其中，所述自适应IoU阈值是根据所述第二子图图形节点的参考段落所对应的持续时间长度和段落编号而确定的。

5.根据权利要求3所述的方法，其中，在获取所述参考文档中各个参考段落所对应的说话人参考标签，并解析所述说话人日志中各个预测段落所对应的说话人预测标签之后，所述方法还包括：

检测说话人参考标签集和说话人预测标签集是否相匹配；

当不匹配时，确定所述说话人日志系统存在说话人预测误差。

6.根据权利要求3所述的方法，其中，基于所述第一子图与所述第二子图之间的节点连接关系，对所述说话人日志系统进行性能评估，包括：

针对各个说话人参考标签，统计所述说话人参考标签所对应的存在识别误差的偏差参考段落，并根据所统计的偏差参考段落确定对应所述说话人参考标签的段落级识别误差。

7.根据权利要求1或6所述的方法，其中，在提取所述参考文档和所述说话人日志所分别对应的参考段落集和预测段落集之后，所述方法还包括：

基于所述说话人日志，解析所述参考段落集中的各个参考段落的段落持续预测时长；

针对各个所述参考段落，识别所述参考段落所对应的标注段落持续时长中的时间级语音识别缺陷，以确定所述参考段落所对应的时间级识别误差；其中，所述时间级语音识别缺陷包括虚警时长和/或漏报时长。