[发明专利]客服机器人的评测方法、装置、计算机设备及存储介质

权利要求书

1.一种客服机器人的评测方法，其特征在于，包括：

获取验证语料集中的用户问句，所述验证语料集中每一条记录包括一条预先采集的用户问句及所述用户问句对应的预期答案；

调用客服机器人接口，将所述验证语料集中的用户问句提交至客服机器人；

解析所述客服机器人接口返回的数据包，从所述数据包中提取得到所述用户问句对应的客服答案；

将所述用户问句输入预设的FAQ模型，得到答案阈值；

将所述答案阈值在预设第一区间的用户问句对应的客服答案、所述答案阈值在预设第二区间的用户问句对应的客服答案以及所述答案阈值在预设第三区间的用户问句对应的客服答案分别确定为第一类答案、第二类答案和第三类答案；

将所述第一类答案、第二类答案和第三类答案分别与所述用户问句各自对应的预期答案进行一一比对，得到所述用户问句各自对应的匹配度；

分别统计第一类答案的匹配度大于预设第一阈值的数量、第二类答案的匹配度大于预设第二阈值的数量、第三类答案的匹配度大于预设第三阈值的数量和用户问句总数量；

根据统计得到的数量分别计算得到第一类答案、第二类答案和第三类答案各自对应的第一准确率、第二准确率和第三准确率；

根据所述第一准确率、所述第二准确率、所述第三准确率以及各自对应的权重计算得到客服机器人准确率的总评分值。

2.根据权利要求1所述的客服机器人的评测方法，其特征在于，在根据所述第一准确率、所述第二准确率、所述第三准确率以及各自对应的权重计算得到客服机器人准确率的总评分值之后，还包括：

在预设第一时间内更新所述验证语料集，得到更新之后的第一验证语料集；

分别获取第一验证语料集在各个业务类型中的用户问句覆盖率预设的各自对应的阈值；

判断所述用户问句覆盖率是否达到所述各自对应的阈值；

若所述用户问句覆盖率均达到各自对应的所述阈值，则确定所述第一验证语料集为目标验证语料集。

3.根据权利要求2所述的客服机器人的评测方法，其特征在于，所述判断所述用户问句覆盖率是否达到所述各自对应的阈值，包括：

统计第一验证语料集中各个业务类型的用户问句的数量和预先采集的各个业务类型的用户问句的数量；

根据统计得到的数量分别计算得到第一验证语料集中各个业务类型的用户问句覆盖率；

判断所述用户问句覆盖率是否达到所述各自对应的阈值。

4.根据权利要求1所述的客服机器人的评测方法，其特征在于，在所述获取验证语料集中的用户问句之前，还包括：

采集预设第二时间内的客服机器人的原始用户问句；

根据业务类型划分所述原始用户问句；

针对划分后的各个业务类型对应的原始用户问句，按照原始用户问句出现的频次筛选出预设数量的用户问句；

针对筛选之后的各个业务类型的用户问句，分别标注各个业务类型中每条用户问句对应的预期答案；

将所述用户问句和所述用户问句对应的预期答案确定为验证语料集。

5.根据权利要求1至4中任一项所述的客服机器人的评测方法，其特征在于，所述根据所述第一准确率、所述第二准确率、所述第三准确率以及各自对应的权重计算得到客服机器人准确率的总评分值，包括：

分别获取所述第一准确率、所述第二准确率和所述第三准确率各自对应的第一权重、第二权重和第三权重；

根据所述第一权重、所述第二权重、所述第三权重以及预设的第一评分规则分别计算得到所述第一类答案、所述第二类答案和所述第三类答案各自对应的第一评分值、第二评分值和第三评分值；

根据所述第一评分值、所述第二评分值、所述第三评分值以及预设的第二评分规则计算得到客服机器人准确率的总评分值，所述总评分值与所述客服机器人准确率正相关。