[发明专利]不稳定测试用例的处理方法、装置、设备和存储介质

说明书

本公开提供了一种不稳定测试用例的处理方法、装置、设备和存储介质，涉及计算机技术领域，具体涉及自动化测试等技术领域。不稳定测试用例的处理方法包括：获取测试用例的至少一组测试运行数据，所述至少一组测试运行数据中各组测试运行数据包括：测试结果和重试信息；基于所述至少一组测试运行数据的组数、所述测试结果和所述重试信息，确定不稳定概率值，所述不稳定概率值用于确定所述测试用例是否为不稳定测试用例；若所述不稳定概率值大于预设阈值，确定所述测试用例为不稳定测试用例。本公开可以提高不稳定测试用例的处理效果。

技术领域

本公开涉及计算机技术领域，具体涉及自动化测试等技术领域，尤其涉及一种不稳定测试用例的处理方法、装置、设备和存储介质。

背景技术

软件工程领域中，可以采用测试用例(test case)对软件进行自动化测试，以获得测试结果，从而可以通过测试结果检测软件质量。一般来讲，测试结果为失败(fail)表示软件存在问题(bug)，测试结果为成功(pass)表示软件不存在问题。

不稳定测试用例是指被测对象和测试条件都不变的情况下，测试结果有时成功有时失败的测试用例。由于不稳定测试用例(flaky test或flaky case)的存在，基于测试结果检测软件质量的确定性被破坏，无法达到自动化测试的目的。因此，不稳定测试用例一般被认为是有害的。

发明内容

本公开提供了一种不稳定测试用例的处理方法、装置、设备和存储介质。

根据本公开的一方面，提供了一种不稳定测试用例的处理方法，包括：获取测试用例的至少一组测试运行数据，所述至少一组测试运行数据中各组测试运行数据包括：测试结果和重试信息；基于所述至少一组测试运行数据的组数、所述测试结果和所述重试信息，确定不稳定概率值，所述不稳定概率值用于确定所述测试用例是否为不稳定测试用例；若所述不稳定概率值大于预设阈值，确定所述测试用例为不稳定测试用例。

根据本公开的另一方面，提供了一种不稳定测试用例的处理装置，包括：获取模块，用于获取测试用例的至少一组测试运行数据，所述至少一组测试运行数据中各组测试运行数据包括：测试结果和重试信息；第一确定模块，用于基于所述至少一组测试运行数据的组数、所述测试结果和所述重试信息，确定不稳定概率值，所述不稳定概率值用于确定所述测试用例是否为不稳定测试用例；第二确定模块，用于若所述不稳定概率值大于预设阈值，确定所述测试用例为不稳定测试用例。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种自动化测试平台，包括上述的电子设备。

根据本公开的技术方案，可以提高不稳定测试用例的处理效果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开第三实施例的示意图；