[发明专利]智能问答系统的测试方法和装置

说明书

技术领域

本申请涉及计算机技术领域，具体涉及自动化测试技术领域，尤其涉及智能问答系统的测试方法和装置。

背景技术

对于智能问答系统的自动化测试，其中的一个测试重点是判断输入问题是否能得到对应的期望答案。目前，现有通常采用如下技术方案来对智能问答系统进行测试：获取第一个输入问题在页面中所对应的界面元素；获取该界面元素的下一个界面元素所显示的内容，作为第一个输入问题的输出答案；获取该输出答案对应的界面元素之后的第二个界面元素所显示的内容，作为第二个输入问题的输出答案，以此类推，得到各个输入问题的输出答案；通过将各个输出答案分别与预存的与对应的输入问题对应的期望答案进行匹配来确定是否测试通过。

然而，上述方案只能针对一问一答的应用场景进行测试，对于一个问题返回多个答案的应用场景，现有技术不能获取一个输入问题的多个输出答案，从而难以正确地进行判断，难以得到正确的测试结果。

发明内容

本申请的目的在于提出一种智能问答系统的测试方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种智能问答系统的测试方法，所述方法包括：通过智能问答系统执行测试用例，所述测试用例包括输入问题；获取执行结果界面中的显示所述输入问题的界面元素；按照界面元素的在所述执行结果界面中的位置，依次获取所述显示所述输入问题的界面元素之后的每一个界面元素所显示的文本作为答案，加入答 案集合中，直到下一界面元素所显示的文本为空；通过将所述答案集合中的答案与预存的与所述输入问题关联的期望答案进行匹配，确定所述用例是否测试通过。

在一些实施例中，所述通过将所述答案集合中的答案与预存的与所述输入问题关联的期望答案进行匹配，确定所述用例是否测试通过，包括：确定所述答案集合中是否存在与所述期望答案匹配的答案；如果存在，则确定测试通过，否则确定测试不通过。

在一些实施例中，所述确定所述答案集合中是否存在与所述期望答案匹配的答案，包括：逐一将答案集合中的答案与所述期望答案进行匹配；如果得到匹配成功的答案，则停止进行匹配，并确定所述答案集合中存在与所述期望答案匹配的答案。

在一些实施例中，在确定所述智能问答系统是否测试通过之后，所述方法还包括：如果测试通过，则在预存的测试结果信息集合中新增一条测试结果信息，所述测试结果信息包括以下信息：所述输入问题、所述期望答案和所述答案集合中与所述期望答案匹配成功的答案。

在一些实施例中，在确定所述智能问答系统是否测试通过之后，所述方法还包括：如果测试不通过，则在预存的测试结果信息集合中新增一条测试结果信息，所述测试结果信息包括以下信息：所述输入问题、所述期望答案和所述答案集合中的各个答案。

第二方面，本申请提供了一种智能问答系统的测试装置，所述装置包括：用例执行单元，用于通过智能问答系统执行测试用例，所述测试用例包括输入问题；界面元素获取单元，用于获取执行结果界面中的显示所述输入问题的界面元素；答案获取单元，用于按照界面元素的在所述执行结果界面中的位置，依次获取所述显示所述输入问题的界面元素之后的每一个界面元素所显示的文本作为答案，加入答案集合中，直到下一界面元素所显示的文本为空；确定单元，用于通过将所述答案集合中的答案与预存的与所述输入问题关联的期望答案进行匹配，所述用例是否测试通过。

在一些实施例中，所述确定单元包括：第一确定子单元，用于确定所述答案集合中是否存在与所述期望答案匹配的答案；第二确定子 单元，用于，用于在所述第一确定子单元确定所述答案集合中存在与所述期望答案匹配的答案时确定测试通过，在所述第一确定子单元确定所述答案集合中不存在与所述期望答案匹配的答案时确定测试不通过。

在一些实施例中，所述第一确定子单元包括：匹配模块，用于逐一将答案集合中的答案与所述期望答案进行匹配；确定模块，用于在所述匹配模块得到匹配成功的答案时，停止进行匹配，并确定所述答案集合中存在与所述期望答案匹配的答案。

在一些实施例中，所述装置还包括：成功结果生成单元，用于在所述确定单元确定所述智能问答系统测试通过之后，在预存的测试结果信息集合中新增一条测试结果信息，所述测试结果信息包括以下信息：所述输入问题、所述期望答案和所述答案集合中与所述期望答案匹配成功的答案。