[发明专利]一种软件测试方法和装置

权利要求书

1.一种软件测试方法，其特征在于，包括：

在不稳定系统中对待测试软件进行至少一次的测试；

获取每次测试的测试结果，并判断所述测试结果是否满足有效性条件；其中，所述有效性条件是指预先设定的用于判定测试结果为有效结果的条件，所述有效结果是指由待测试软件引起的结果；所述测试结果包括错误；所述错误是指所述测试结果不符合预期结果，并且不在测试软件或测试工具的可判断范围内；所述判断所述测试结果是否满足有效性条件包括：若所述测试结果不属于由待测试软件引起的错误，则确定所述测试结果不满足有效性条件；

若存在任一次的测试结果不满足有效性条件，则对所述待测试软件重新进行测试，直至测试结果满足有效性条件；

当满足有效性条件的测试结果的数目达到预设数目阈值时，停止测试并根据满足有效性条件的测试结果，判断所述待测试软件是否通过测试。

2.根据权利要求1所述的方法，其特征在于，所述测试结果还包括：成功、失败；所述判断所述测试结果是否满足有效性条件还包括：

若所述测试结果为成功或失败，则确定所述测试结果满足有效性条件；

若所述测试结果为错误，则判断所述测试结果是否属于由待测试软件引起的错误；

若所述测试结果属于由待测试软件引起的错误，则确定所述测试结果满足有效性条件。

3.根据权利要求2所述的方法，其特征在于，所述判断所述测试结果是否属于由待测试软件引起的错误的步骤包括：

判断所述测试结果是否属于第一错误列表中包含的错误或属于第二错误列表中包含的错误；所述第一错误列表中记录有由待测试软件引起的错误，所述第二错误列表中记录有由非待测试软件引起的错误；

若所述测试结果是属于第一错误列表中包含的错误，则确定所述测试结果为由待测试软件引起的错误；

若所述测试结果是属于第二错误列表中包含的错误，则确定所述测试结果为由非待测试软件引起的错误。

4.根据权利要求3所述的方法，其特征在于，所述判断所述测试结果是否属于由待测试软件引起的错误的步骤还包括：

若所述测试结果不属于第一错误列表中包含的错误或第二错误列表中包含的错误，则生成判断通知消息；

接收针对所述判断通知消息返回的判断结果；

依据所述判断结果，将所述测试结果所表征的错误添加到所述第一错误列表中或所述第二错误列表中。

5.根据权利要求2所述的方法，其特征在于，所述根据满足有效性条件的测试结果，判断所述待测试软件是否通过测试的步骤包括：

分别统计测试结果为成功的次数、测试结果为失败的次数，以及测试结果为由待测试软件引起的错误的次数；

根据所述测试结果为成功的次数、所述测试结果为失败的次数，以及所述测试结果为由待测试软件引起的错误的次数计算通过率；

若所述通过率大于预设通过率阈值，则确定所述待测试软件通过测试；

若所述通过率小于或等于所述预设通过率阈值，则确定所述待测试软件不通过测试。

6.一种软件测试装置，其特征在于，包括：

测试模块，用于在不稳定系统中对待测试软件进行至少一次的测试；

有效判断模块，用于获取每次测试的测试结果，并判断所述测试结果是否满足有效性条件；其中，所述有效性条件是指预先设定的用于判定测试结果为有效结果的条件，所述有效结果是指由待测试软件引起的结果；所述测试结果包括错误；所述错误是指所述测试结果不符合预期结果，并且不在测试软件或测试工具的可判断范围内；所述有效判断模块包括：第三有效确定子模块，用于若所述测试结果不属于由待测试软件引起的错误，则确定所述测试结果不满足有效性条件；

重测模块，用于若存在任一次的测试结果不满足有效性条件，则对所述待测试软件重新进行测试，直至测试结果满足有效性条件；

通过判断模块，用于当满足有效性条件的测试结果的数目达到预设数目阈值时，停止测试并根据满足有效性条件的测试结果，判断所述待测试软件是否通过测试。