[发明专利]一种评估机器人会话效果的方法及系统

说明书

本发明公开了一种评估机器人会话效果的方法，包括：S1，获取测试数据；S2，根据所述测试数据获得机器人和人工的应答；S3，分别对机器人和人工的应答进行打分；S4，通过比较打分占比，对机器人进行会话效果评估。本发明可以更好的评估机器人与用户会话的整体效果，从而保证上线的机器人应对用户的咨询对话更加流畅和合理性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种评估机器人会话效果的方法及系统。

背景技术

在考虑新旧男科机器人的更迭场景中，需要评估现有的机器人效果是否可以达到上线标准，现有的机器人效果评估方法不能很好的说明新版机器人是否达到上限标准，所以需要更多的数据，证明新版男科机器人的效果足以达到上线标准。

现有的评估机器人的会话效果大致的测试指标有：语义相似度的精确度，意图识别，NER识别，症状相似度，FAQ覆盖率，规则话术覆盖率。由于现有的评估机器人的指标多数只是评估客服机器人的识别问题、是否能正确识别并回答，却忽略会话本身的整体效果。而，机器人的效果不应只看识别正确度，还应评估其会话的流畅及合理度。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种评估机器人会话效果的方法，从而为评估机器人是否达到上限标准提供依据。

为实现上述目的，本发明提供一种评估机器人会话效果的方法，包括：

S1，获取测试数据；

S2，根据所述测试数据获得机器人和人工的应答；

S3，分别对机器人和人工的应答进行打分；

S4，通过比较打分占比，对机器人进行会话效果评估。

优选的，所述测试数据包括单句测试数据和/或整体会话测试数据。

优选的，所述单句测试数据为抽取用户原始对话中有意图的句子；所述整体会话测试数据为抽取用户原始对话，并根据预设规则进行设定。

优选的，所述预设规则包括：

a.以Id--姓名--用户原始对话的第一个句子作为对话开始；

b.对话中间穿插有用户原始对话的其他句子；包括：用户原始对话的其他句子；或者，回答机器人问题@@用户原始对话的其他句子；

c.对话结束，窗口会弹出会话结束提示。

优选的，所述打分依据预设评分规则进行。

优选的，所述对机器人进行会话效果评估之后，判断所述机器人是否达到上线标准；所述上限标准定义为所述机器人的打分占比达到人工的65％以上。

优选的，所述机器人为医疗男科机器人。

为实现上述目的，本发明还提供一种评估机器人会话效果的系统，包括：

获取单元，用于获取测试数据；

应答单元，用于根据所述测试数据获得机器人和人工的应答；

打分单元，用于分别对机器人和人工的应答进行打分；

评估单元，用于通过比较打分占比，对机器人进行会话效果评估。

有益效果：

通过本方案所利用的单句会话、整体会话及二者的结合不仅可以准确的识别用户的咨询问题并回答，还可以更好的评估机器人与用户会话的整体效果，从而保证上线的机器人应对用户的咨询对话更加流畅和合理性。

附图说明

图1为本发明一实施例提供的一种评估机器人会话效果的方法的流程图。