[发明专利]多轮会话系统测试方法及装置

说明书

本发明公开了一种多轮会话系统测试方法及装置，该方法包括：获取第一多轮会话测试案例以及第一验证规则集；识别出所述第一多轮会话测试案例中所有满足分支跳转条件的用户会话输入报文；用预设的语料库中的用户会话输入报文替换所述第一多轮会话测试案例中至少一个所述满足分支跳转条件的用户会话输入报文，得到第二多轮会话测试案例；根据所述预设的语料库中的用户会话输入报文对应验证规则以及所述第一验证规则集生成所述第二多轮会话测试案例对应的第二验证规则集；根据所述第二多轮会话测试案例以及所述第二验证规则集对多轮会话系统进行测试。本发明解决了现有技术难以高效的对多轮会话系统进行测试的技术问题。

技术领域

本发明涉及智能问答技术领域，具体而言，涉及一种多轮会话系统测试方法及装置。

背景技术

在人工智能时代背景下，使用智能机器人代替人工客服的需求也越来越高，而智能机器人的主要功能是实现与人的多轮会话，因此在智能机器人的开发过程中，如何能够快速全面的测试机器人多轮会话的功能，提高开发效率，具有了重要意义。目前多轮会话测试案例数量较少，测试案例的覆盖率较低，致使现有多轮会话系统测试的准确性和测试覆盖率不佳。

发明内容

本发明为了解决上述背景技术中的技术问题，提出了一种多轮会话系统测试方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种多轮会话系统测试方法，该方法包括：

获取第一多轮会话测试案例以及所述第一多轮会话测试案例对应的第一验证规则集，其中，所述第一多轮会话测试案例中包含若干个用户会话输入报文，所述第一验证规则集中包含每个所述用户会话输入报文各自对应的验证规则；

识别出所述第一多轮会话测试案例中所有满足分支跳转条件的用户会话输入报文；

用预设的语料库中的用户会话输入报文替换所述第一多轮会话测试案例中至少一个所述满足分支跳转条件的用户会话输入报文，得到第二多轮会话测试案例；

根据所述预设的语料库中的用户会话输入报文对应验证规则以及所述第一验证规则集生成所述第二多轮会话测试案例对应的第二验证规则集；

根据所述第二多轮会话测试案例以及所述第二验证规则集对多轮会话系统进行测试。

可选的，所述根据所述第二多轮会话测试案例以及所述第二验证规则集对多轮会话系统进行测试，具体包括：

将所述第二多轮会话测试案例输入多轮会话系统，得出所述第二多轮会话测试案例中每个用户会话输入报文各自对应的系统输出报文；

根据所述第二验证规则集对每个所述系统输出报文进行验证，得到案例测试结果；

根据多个所述第二多轮会话测试案例的案例测试结果得出所述多轮会话系统的测试结果。

可选的，用预设的语料库中的用户会话输入报文替换所述第一多轮会话测试案例中至少一个所述满足分支跳转条件的用户会话输入报文，具体包括：

确定所述满足分支跳转条件的用户会话输入报文对应的预设的语料库；

从该对应的预设的语料库中随机选择一个用户会话输入报文替换所述满足分支跳转条件的用户会话输入报文。

可选的，该多轮会话系统测试方法，还包括：

获取用户和多轮会话系统交互产生的多轮会话交互数据；

从所述多轮会话交互数据中提取出用户会话输入报文，并根据提取出的用户会话输入报文组合成所述第一多轮会话测试案例；

根据提取出的每个用户会话输入报文各自对应的预设的验证规则生成所述第一验证规则集。

为了实现上述目的，根据本发明的另一方面，提供了一种多轮会话系统测试装置，该装置包括：