[发明专利]客服机器人的评测方法、装置、计算机设备及存储介质

说明书

本发明公开了客服机器人的评测方法、装置、计算机设备及存储介质，应用于客服机器人技术领域，用于解决客服机器人评测结果准确率低的问题。本发明提供的方法包括：获取验证语料集中的用户问句；调用客服机器人接口提交用户问句；解析接口返回的数据包，提取对应的客服答案；将用户问句输入预设的FAQ模型，得到答案阈值；根据答案阈值将客服答案确定为第一类答案、第二类答案和第三类答案；将每类答案与对应的预期答案相比，得到匹配度；统计第一类答案匹配度大于预设第一阈值的数量、第二类答案匹配度大于预设第二阈值的数量、第三类答案匹配度大于预设第三阈值的数量，得到每类答案各自对应的准确率；根据各个准确率及各自权重计算得到总评分值。

技术领域

本发明涉及客服机器人技术领域，尤其涉及一种客服机器人的评测方法、装置、计算机设备及存储介质。

背景技术

市场上，很多用户在使用公司产品时遇到疑难，需要寻找公司客服进行解答，如此一来，客服机器人在客服工作中尤为重要，用户对一个公司产品的评价也会体现在客服机器人的服务上，若客服机器人的答案与用户提出的问句相差较大，用户的评价自然较低，所以对客服机器人回复的准确率要求较高，基于此，评测客服机器人针对用户问句返回的答案的准确率是极其重要的。

目前，对客服机器人准确率的评测一般是直接基于训练语料集进行评测，训练语料集是指用于训练模型的语料集，难以反应出客服机器人FAQ(FrequentlyAskedQuestions，常见问题解答)模型的真实效果，而且由于客服机器人的语料集数据量较大，再加上时间和人力资源的限制，也难以对所有训练语料集进行评测。

可见，寻找一种提高客服机器人评测准确率的方法成为本领域技术人员亟需解决的问题。

发明内容

本发明实施例提供一种客服机器人的评测方法、装置、计算机设备及存储介质，以解决客服机器人评测方法准确率低下的问题。

一种客服机器人的评测方法，包括：

获取验证语料集中的用户问句，所述验证语料集中每一条记录包括一条预先采集的用户问句及所述用户问句对应的预期答案；

调用客服机器人接口，将所述验证语料集中的用户问句提交至客服机器人；

解析所述客服机器人接口返回的数据包，从所述数据包中提取得到所述用户问句对应的客服答案；

将所述用户问句输入预设的FAQ模型，得到答案阈值；

将所述答案阈值在预设第一区间的用户问句对应的客服答案、所述答案阈值在预设第二区间的用户问句对应的客服答案以及所述答案阈值在预设第三区间的用户问句对应的客服答案分别确定为第一类答案、第二类答案和第三类答案；

将所述第一类答案、第二类答案和第三类答案分别与所述用户问句各自对应的预期答案进行一一比对，得到所述用户问句各自对应的匹配度；

分别统计第一类答案的匹配度大于预设第一阈值的数量、第二类答案的匹配度大于预设第二阈值的数量、第三类答案的匹配度大于预设第三阈值的数量和用户问句总数量；

根据统计得到的数量分别计算得到第一类答案、第二类答案和第三类答案各自对应的第一准确率、第二准确率和第三准确率；

根据所述第一准确率、所述第二准确率、所述第三准确率以及各自对应的权重计算得到客服机器人准确率的总评分值。

一种客服机器人的评测装置，包括：

用户问句获取模块，用于获取验证语料集中的用户问句，所述验证语料集中每一条记录包括一条预先采集的用户问句及所述用户问句对应的预期答案；

用户问句提交模块，用于调用客服机器人接口，将所述验证语料集中的用户问句提交至客服机器人；