[发明专利]基于神经元输出行为模式的深度学习测试用例的选择方法

说明书

本发明公开了一种基于神经元输出行为模式的深度学习测试用例的选择方法，包括下列步骤：1)获取对抗样本的神经元输出行为的行为模式。2)计算每一条测试用例的神经元输出行为与对抗样本神经元输出行为的行为模式的距离。3)根据距离对测试用例集进行优先级排序。本发明可以尽早的在测试用例集中找到对抗本，对测试用例进行优先级排序提高了测试效率。

技术领域

本发明涉及深度学习测试的技术领域，特别涉及一种基于神经元输出行为模式的深度神经网络测试用例优先级排序方法。

背景技术

深度学习是机器学习中的一种对数据进行表征学习的方法，它通过多层非线性处理单元的级联来进行特征的提取和数据的转换。深度学习自2016年被正式提出，使得人工智能产生了革命性的突破。随着AlphaGo的出现，深度学习开始被广泛的应用到各个领域，甚至是一些安全攸关的领域，例如：自动驾驶，医疗诊断，身份识别等。因此，深度学习系统中可能存在的质量问题会带来巨大的损失。

以深度学习为核心的系统具有高维输入、多隐藏层、低维输出的特点，这些导致深度学习系统与传统软件系统大为不同，传统软件测试技术也无法在深度学习中应用。基于深度神经网络的模型还具有应用多样性，使用场景复杂及数据量大的特性，使得在对这类系统进行测试时面临很多挑战，例如：合适且高效的测试方法少，测试数据不足以及测试数据的质量不敢等等。

目前深度学习系统很难通过常规的训练达到100％的准确率，面向深度神经网络的测试也仍然处于早期阶段。由于深度神经网络与传统的软件不同，一些已经比较成熟的传统软件测试技术将无法直接应用到深度学习系统的测试中，例如：如何用覆盖率引导测试，测试用例的选择，测试用例的优先级等等。

而在测试系统的过程中测试用例的优先级是一个关键的核心。对于同一个测试用例集来说，不同的排序将会对测试的效率起到很大的影响。一个好的测试用例排序可以让测试者在尽可能短的时间内找到系统中隐藏的缺陷。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于神经元输出行为模式的深度学习测试用例的选择方法，解决对深度神经网络进行测试时，通过对测试用例进行排序，尽早从中找到对抗样本。所以如何确定对抗样本的神经元行为模式是后期对测试用例进行优先级排序的重点问题。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于神经元输出行为模式的深度学习测试用例的选择方法，1)用几种对抗样本生成技术分别生成少量对抗样本。通过对少量对抗样本分析，总结出对抗样本神经元输出的行为模式2)根据提取的对抗样本的神经元行为模式对测试用例进行优先级排序，以便能尽早的在大批测试用例中找到对抗样本。具体包括以下步骤：

步骤1，通过提取对抗样本在模型中神经元状态，分析出不同对抗样本的神经元输出行为，找到输出行为的分布规律，总结出对抗样本的神经元输出行为的行为模式；

步骤1.1，提取测试用例的神经元状态；在深度神经网络中，输入测试用例后，神经元将会以实数值的形式将测试用例向后传播，每个神经元都对应一个实数值；设置激活函数的阈值，将实数值转化为判断是否激活的布尔值；获取每个神经元的输出布尔值作为神经元输出；将所有神经元输出组成一个高维向量，表示此测试用例下的神经元输出的行为；

步骤1.2，通过两种以上的对抗样本生成技术分别生成对抗样本；在深度神经网络中，输入生成的对抗样本，神经元将会以实数值的形式将生成的对抗样本向后传播，每个神经元都对应一个实数值；设置激活函数的阈值，将实数值转化为判断是否激活的布尔值；获取每个神经元的输出布尔值作为神经元输出；将所有神经元输出组成一个高维向量，表示此对抗样本下的神经元输出的行为；提取对抗样本下的神经元输出的行为构成对抗样本集；分析对抗样本集的神经元输出行为的分布规律，总结出对抗样本的神经元输出行为模式；

步骤2，根据总结的对抗样本的神经元输出行为模式对测试用例进行优先级排序；