[发明专利]智能问答系统的测试方法和装置

权利要求书

1.一种智能问答系统的测试方法，其特征在于，所述方法包括：

通过智能问答系统执行测试用例，所述测试用例包括输入问题；

获取执行结果界面中的显示所述输入问题的界面元素；

按照界面元素的在所述执行结果界面中的位置，依次获取所述显示所述输入问题的界面元素之后的每一个界面元素所显示的文本作为答案，加入答案集合中，直到下一界面元素所显示的文本为空；

通过将所述答案集合中的答案与预存的与所述输入问题关联的期望答案进行匹配，确定所述用例是否测试通过。

2.根据权利要求1所述的方法，其特征在于，所述通过将所述答案集合中的答案与预存的与所述输入问题关联的期望答案进行匹配，确定所述用例是否测试通过，包括：

确定所述答案集合中是否存在与所述期望答案匹配的答案；

如果存在，则确定测试通过，否则确定测试不通过。

3.根据权利要求2所述的方法，其特征在于，所述确定所述答案集合中是否存在与所述期望答案匹配的答案，包括：

逐一将答案集合中的答案与所述期望答案进行匹配；

如果得到匹配成功的答案，则停止进行匹配，并确定所述答案集合中存在与所述期望答案匹配的答案。

4.根据权利要求1-3任一项所述的方法，其特征在于，在确定所述智能问答系统是否测试通过之后，所述方法还包括：

如果测试通过，则在预存的测试结果信息集合中新增一条测试结果信息，所述测试结果信息包括以下信息：所述输入问题、所述期望答案和所述答案集合中与所述期望答案匹配成功的答案。

5.根据权利要求1-3任一项所述的方法，其特征在于，在确定所 述智能问答系统是否测试通过之后，所述方法还包括：

如果测试不通过，则在预存的测试结果信息集合中新增一条测试结果信息，所述测试结果信息包括以下信息：所述输入问题、所述期望答案和所述答案集合中的各个答案。

6.一种智能问答系统的测试装置，其特征在于，所述装置包括：

用例执行单元，用于通过智能问答系统执行测试用例，所述测试用例包括输入问题；

界面元素获取单元，用于获取执行结果界面中的显示所述输入问题的界面元素；

答案获取单元，用于按照界面元素的在所述执行结果界面中的位置，依次获取所述显示所述输入问题的界面元素之后的每一个界面元素所显示的文本作为答案，加入答案集合中，直到下一界面元素所显示的文本为空；

确定单元，用于通过将所述答案集合中的答案与预存的与所述输入问题关联的期望答案进行匹配，所述用例是否测试通过。

7.根据权利要求6所述的装置，其特征在于，所述确定单元包括：

第一确定子单元，用于确定所述答案集合中是否存在与所述期望答案匹配的答案；

第二确定子单元，用于，用于在所述第一确定子单元确定所述答案集合中存在与所述期望答案匹配的答案时确定测试通过，在所述第一确定子单元确定所述答案集合中不存在与所述期望答案匹配的答案时确定测试不通过。

8.根据权利要求7所述的装置，其特征在于，所述第一确定子单元包括：

匹配模块，用于逐一将答案集合中的答案与所述期望答案进行匹配；

确定模块，用于在所述匹配模块得到匹配成功的答案时，停止进 行匹配，并确定所述答案集合中存在与所述期望答案匹配的答案。

9.根据权利要求6-8任一项所述的装置，其特征在于，所述装置还包括：成功结果生成单元，用于在所述确定单元确定所述智能问答系统测试通过之后，在预存的测试结果信息集合中新增一条测试结果信息，所述测试结果信息包括以下信息：所述输入问题、所述期望答案和所述答案集合中与所述期望答案匹配成功的答案。

10.根据权利要求6-8任一项所述的装置，其特征在于，所述装置还包括：失败结果生成单元，用于在所述确定单元确定所述智能问答系统测试不通过之后，在预存的测试结果信息集合中新增一条测试结果信息，所述测试结果信息包括以下信息：所述输入问题、所述期望答案和所述答案集合中的各个答案。