[发明专利]基于神经元激活频率分析的测试用例优先级排序方法

说明书

本发明公开了基于神经元激活频率分析的测试用例优先级排序方法，输入为待测神经网络、历史数据以及测试集，输出为经过测试用例优先级排序的测试集。本发明的主要思想是将神经网络中的神经元集合划分为频繁激活神经元集合以及非频繁激活神经元集合，通过计算新的测试用例激活频繁激活神经元的数量以及激活非频繁激活神经元的数量，对测试用例进行排序。具体步骤如下：1)确定每个类别数据的神经元频繁激活神经元子集与非频繁激活神经元子集；2)对待排序数据按照激活频繁激活子集与非频繁激活子集中神经元数量对测试用例进行优先级排序。

技术领域

本发明涉及计算机软件测试领域，特别涉及一种基于神经元激活频率分析的测试用例优先级排序方法。

背景技术

随着深度神经网络等技术的迅速发展，深度学习系统得到了广泛地应用，并在自动驾驶、语音识别、图像识别等领域广泛部署。为了确保这些应用深度学习技术的计算机软件的安全性和可靠性，在计算机软件被投入使用之前必须对其进行充分的测试。然而由于深度学习系统的难解释性，对部署深度学习系统的计算机软件进行测试的成本是非常昂贵的，一方面为了覆盖深度学习系统巨大的输入空间，必须收集尽可能多的测试用例，测试的过程可能耗时极长、耗资源极多；另一方面，为了判断测试结果的准确性，必须人为地为测试用例作标注，这使得测试成本昂贵。

测试用例优先级排序技术是减少计算机软件测试成本的方法之一。传统计算机软件的测试用例优先级排序技术基于历史测试数据的代码覆盖率等信息，在一定的测试目标下，对测试用例进行优先级排序，优先测试具有高优先级的测试用例。但是部署深度学习系统的计算机软件与传统软件有着根本的区别：传统软件由开发者通过代码定义其中的逻辑，而部署深度学习技术的计算机软件从训练数据中学习其中的逻辑，具体表现为神经网络层与层之间的神经元之间的权值和偏置量等。因而传统软件的测试用例优先级技术已不再适用于部署深度学习系统的计算机软件。为了减少部署深度学习系统的计算机软件的测试成本、提高测试效率，本发明提出一种适用于部署深度学习系统的计算机软件的测试用例优先级排序技术。目前已有的适用于部署深度学习系统的计算机软件的测试用例排序技术主要有基于输出层的熵的排序技术、基于输出层基尼系数的排序技术。本发明与以上方法不同之处在于两个方面：本发明所述方法使用的数据为神经网络倒数第二层的全连接层神经元输出值；本发明所述方法对神经网络运行过程中得到的历史数据进行分析，提取出不同类别数据的频繁激活神经元集合与非频繁激活神经元集合，再依据测试用例激活测试用例所属类别的频繁激活神经元集合与非频繁激活神经元集合中神经元的占比情况判断测试用例的优先级。

发明内容

为了降低部署深度学习系统计算机软件的测试成本，本发明提出了一种基于神经元激活频率分析的测试用例优先级排序技术。该方法首先将训练数据输入神经网络并收集神经元输出值，然后从神经元输出值信息中确定每个类别数据的频繁激活神经元集合以及非频繁激活神经元集合，下一步通过计算测试用例激活其所属类别的频繁激活神经元的数量与非频繁激活神经元的数量之比对测试用例进行评级，最后按照优先级从大到小对测试用例进行优先级排序。

为了实现本发明的目的，采用的技术方案概述如下：

以下提及的训练集、训练数据为部署深度学习系统的计算机软件在训练神经网络所使用的数据，以下提及的的测试集、测试用例为部署深度学习系统的计算机软件在测试过程中所使用的数据。

一种基于神经元激活频率分析的测试用例优先级排序方法，其输入为训练数据以及测试集在神经网络的倒数第二层的神经元输出值，输出为排完序的测试集，包括以下步骤：

(1)确定神经网络模型对于计算机软件每个类别在测试过程中所使用的数据的频繁激活神经元集合与非频繁激活神经元集合。对于某一类的数据，频繁激活神经元指在神经网络的运行过程中，该神经网络的神经元能被大多数正确分类的数据所激活，非频繁激活神经元则是指神经网络中除去该类所有频繁激活神经元外的其他神经元。