[发明专利]测试用例有效性的评估方法、电子设备和存储介质

说明书

本发明涉及一种测试用例有效性的评估方法、电子设备和存储介质，属于软件测试技术领域。所述测试用例有效性的评估方法包括：向软件中注入多个故障，所述故障符合预设的故障规则，所述故障规则预先存储在预先建立的故障规则库中；利用待评估的测试用例，执行所述软件；记录执行所述软件的结果，并统计所述测试用例未检出的故障的数量；根据注入的故障数量及所述未检出的故障的数量计算所述测试用例有效的概率。本发明实施例能够自动化地度量测试用例的有效性，不仅效率高，也降低了测试用例有效性度量的成本；而且，能够可靠地评估测试用例的有效性。

技术领域

本发明涉及计算机技术领域，特别涉及软件测试技术领域，具体是指一种测试用例有效性的评估方法、电子设备和存储介质。

背景技术

测试用例是为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，以便测试某个程序路径或核实是否满足某个特定需求，是将软件测试的行为活动做一个测试用例科学化的组织归纳，目的是能够将软件测试的行为转化成可管理的模式，而且测试用例也是将测试具体量化的方法之一。一组测试用例能调用被测系统特定业务代码，能够触发代码各分支流程。当业务代码出问题时，可以发现该问题，我们认为测试用例是有效的；反之是无效的。可以认为，测试用例是软件测试的基石，而测试用例的有效性也直接影响测试的质量。

为了评估测试用例的有效性，现有技术中通常采用测试用例评审方法，一方面，这种方法会因评审人员对被测系统熟悉程度、及测试用例设计水平和经验不同，影响测试用例有效性评估的结果，从而给评估的可靠性带来了很大的影响，而且，也间接地影响了测试用例的有效性，导致测试用例的有效性无法保障，不能确保有效地发现BUG；另一方面，由于人工操作，不仅效率低，而且测试用例有效性度量的成本高。

发明内容

为了克服上述问题，本发明提供了一种测试用例有效性的评估方法，包括：向软件中注入多个故障，所述故障符合预设的故障规则，所述故障规则预先存储在预先建立的故障规则库中；利用待评估的测试用例，执行所述软件；记录执行所述软件的结果，并统计所述测试用例未检出的故障的数量；根据注入的故障数量及所述未检出的故障的数量计算所述测试用例有效的概率。

可选的，根据所述未检出的故障调整完善所述测试用例。

可选的，所述故障规则库的建立方法，可以包括：根据新出现的BUG进行故障规则学习以提炼新的故障规则；将所述新的故障规则添加到所述故障规则库中。

可选的，所述的根据新出现的BUG进行故障规则学习以提炼新的故障规则，可以包括：监听BUG管理系统或线上故障处理系统新出现的BUG；收集和分析所述BUG，提炼新的故障规则。

可选的，所述测试用例有效性的评估方法采用热部署方法。

可选的，所述测试用例有效性的评估方法，还包括：选择符合所述故障规则的故障；将与所述故障相关的多个测试用例作为测试用例集；以一所述测试用例集为一组进行测试用例有效性的评估。

上述测试用例有效性的评估方法，可以根据公式“测试用例有效的概率＝1-未检出的故障的数量/注入的故障数量”评估该测试用例有效性。

本发明也提供了一种电子设备，包括：处理器和存储器，所述存储器存储有计算机程序，所述处理器运行所述计算机程序，实现上述任一项所述的方法。

进一步地，所述电子设备可以包括处理器和存储器，所述存储器存储有故障规则库，所述故障规则库用于存储若干条故障规则；所述处理器执行向软件中注入多个故障，所述故障符合所述故障规则；利用待评估的测试用例，执行所述软件；记录执行所述软件的结果，并统计所述测试用例未检出的故障的数量；根据注入的故障数量及所述未检出的故障的数量计算所述测试用例有效的概率。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。