[发明专利]一种基于混合测试的软件可靠性评估方法及其装置

说明书

技术领域

本发明涉及软件可靠性工程领域，尤其涉及软件可靠性测试和评估领域，具体地说，是指一种基于混合测试的软件可靠性评估方法及其装置。

背景技术

软件可靠性评估技术作为评价软件质量和可靠性的重要手段，正成为国内外软件可靠性工程的主要研究方向之一。为了满足用户对软件可靠性要求、评估软件可靠性水平及验证软件产品是否达到可靠性要求，软件可靠性测试是一种有效的途径。它是随机测试中的一种，其主要特征是按照用户实际使用软件的方式来测试软件。它一方面继承了软件测试的思想，另一方面又有自身的特点，特别是在测试机理上与一般软件测试是不同的。

当前有两种主要的传统的软件可靠性测试及评估方法，一种是Richard C.Linger 1988年在其论文《A case study in cleanroom software engineering》中提出的“基于使用模型的统计测试方法”，其中使用模型包括马尔可夫模型和形式化的语法，根据这些使用模型来产生测试用例(软件所有可能输入的一个子集)并评估和度量软件可靠性；另外一种是AT&T贝尔实验室的John D.Musa 1993年在其论文《Operational profiles in software reliability engineering》提出的“基于操作剖面的可靠性测试方法”，其中操作剖面即用户使用软件的统计规律，其构造流程如图1所示，首先确定操作模式和操作的发起者，然后选择表格表示法或图形表示法对每个操作发起者创建操作表，最后确定单个操作或属性值的出现率，将总的发生概率分解到每个操作上，最后生成MUSA操作剖面，该方法是根据操作剖面抽样随机生成测试数据。上述两种方法的基本思想都是基于统计学的基本原理，即根据软件实际使用情况的统计规律的描述，对软件进行随机测试，利用测试结果进行软件可靠性评估。该特点决定了这一过程时间长、费用高、资源消耗大，因此如何加快软件可靠性测试，及提高软件可靠性评估的效率和准确性，是亟待突破的技术难关。

另外目前大部分软件在发布之前都会根据被测软件的特点和其所要达到的要求或指标(主要是与缺陷相关的要求或指标)进行针对性测试，如针对覆盖率要求的各种覆盖率测试、针对功能实现的功能测试等等，它们在发现软件缺陷提高软件质量方面具有明显的效果。但是针对性测试中的缺陷信息并没有用于对软件可靠性的评估中，软件可靠性评估仍然是通过“从头开始的”软件可靠性测试和重新收集失效数据等方面来进行。因此如何充分、综合地利用这些已有的测试信息综合到软件可靠性评估过程中，并通过其实现装置提高软件可靠性评估的效率也已成为当务之急。

发明内容

本发明为了解决现有技术中存在的软件可靠性测试效率低的问题，提供了一种基于混合测试的软件可靠性评估方法及其装置，所述的方法是基于针对性测试与运行测试相结合的混合两阶段可靠性加速测试方法，同时结合次序统计量理论，提出了基于混合测试的软件可靠性次序统计量模型，充分利用针对性测试以及运行测试的测试数据，并给出软件可靠性评估，从而加速软件可靠性测试过程，提高软件可靠性测试效率。

本发明从软件可靠性评估方法数据输入的角度，对传统软件可靠性测试方法进行了改进，采用由针对性测试向运行测试过渡的混合测试方法。这种混合测试方法中，充分利用了针对性测试中收集到的缺陷信息，通过面向缺陷的针对性测试中发现的缺陷被不断剔除，软件的可靠性得到了增长。当针对性测试基本结束后，通常这个时候软件可靠性还没有达到规定的可靠性要求，因此还要继续转入软件可靠性测试，直到满足规定的可靠性要求。其中针对性测试采取的是基于覆盖率的白盒测试，运行测试为黑盒测试，所以本发明提供的这种混合测试从某种程度上来说可以看作是一种灰盒测试方法。

本发明提供的基于混合测试的软件可靠性评估方法的原理为：

假设被测软件中有n个缺陷，其缺陷失效率分别为φ₁，φ₂，...，φ_n，将缺陷失效率按照从小到大的顺序排列，记为次序缺陷失效率：φ_1:n，φ_2:n，...，φ_n:n。假设混合测试过程中共发现k个缺陷，将这k个缺陷按照缺陷失效率从大到小的顺序排列，并将排序好的缺陷失效率依次记为Ψ_i(i＝1，2，...，k)。根据测试的顺序特性，可以认为这k个缺陷是n个缺陷中失效率最大的前k个缺陷，因此有如下对应关系：Ψ_i＝φ_(n+1-i):n。