[发明专利]基于神经通路激活状态的深度学习模型测试方法与装置

说明书

本发明公开了一种基于神经通路激活状态的深度学习测试样本的生成方法及装置，方法包括以下步骤：1)获取图数据集与深度学习模型；2)预训练深度学习模型并获得神经通路激活状态特征矩阵；3)构建样本批次；4)变异操作；5)生成测试样本，其中包括计算变异样本与神经通路激活状态特征矩阵的距离，保持神经通路激活状态一致的情况下，根据梯度上升最大化修改测试样本与原始样本的距离并最终生成数据集与相应深度学习模型的测试集。该方法可以根据深度学习模型内部神经元与神经元、层与层之间的联系，有针对性地生成测试样本。

技术领域

本发明涉及深度学习安全领域，尤其涉及一种基于神经通路激活状态的深度学习模型测试方法与装置。

背景技术

随着过去十年数据的爆炸性增长，深度学习经历了前所未有的飞跃，在许多领域已经表现出媲美甚至超过人类水平的性能。深度学习算法作为人工智能领域的研究热点和主流发展方向，与传统机器学习算法相比，具有两个显著的优点。首先，深度学习算法可以随着数据规模的增加不断提高其性能，而传统的机器学习算法很难利用海量数据来不断提高其性能。其次，深度学习算法减少了为每个问题设计特征提取器的工作量，而传统的机器学习算法需要手工提取特征。因此，深度学习系统正成为许多新型工业应用(包括许多对安全至关重要的场景，例如自动驾驶)的关键驱动力。

但是，由于现实世界的深度学习系统输入空间较大，训练过程中无法涵盖所有可能发生的情况，处于某些极端情况下的深度学习系统可能会导致灾难性的后果，自动驾驶汽车的碰撞事故就是缺乏训练极端情况的经典案例。有鉴于此，深度学习系统在实际应用中必须针对极端情况进行系统地测试，进而理想地检测和修复任何潜在的缺陷和不良行为。

传统测试深度学习系统方法，是收集并手动标记尽可能多的真实测试数据，这项工作需要花费大量的时间成本和人力资源，同时也无法覆盖所有可能极端案例。

自动测试深度学习的方式分为白盒测试和黑盒测试。黑盒测试使用仿真来生成综合测试数据，使添加最小扰动的合成图像能够巧妙地蒙蔽DL(深度学习)系统，从而寻找到模型潜在的缺陷。这类方法从原始数据集角度出发，通过不断地尝试、迭代生成图片使模型分类错误。不断试错的方式固然能够发现DL系统中部分潜在的极端情况，但始终没有考虑模型内部的细节，在执行过程中会产生大量无意义的图片，增加系统的额外开销。白盒测试采用神经元覆盖率作为导向生成测试样本，这是一个静态测试过程。这类方式认为激活覆盖率越高，缺陷检测的机会就越大，生成的测试集覆盖的极端情况就越多。值得注意的是，神经元覆盖率是一个全局的概念，在数据集生成过程中所有神经元激活评估相同的阈值。但是，在实际情况下，不同神经元的输出统计分布非常不同。在不考虑神经元功能分布差异的情况下，对所有神经元使用相同的阈值将大大降低准确性。此外，最新的实验结果表明，神经元覆盖率并不能检测到中毒攻击的样本。由于上述局限，基于神经元覆盖率的测试方式无法详尽的搜索整个深度学习系统的输入空间。

发明内容

本发明提供了一种基于神经通路激活状态的深度学习测试样本的生成方法，该方法可以根据深度学习模型内部神经元与神经元、层与层之间的联系，有针对性地生成测试样本。

具体技术方案如下：

一种基于神经通路激活状态的深度学习测试样本的生成方法，包括以下步骤：

(1)获取图像数据集和深度学习模型；采用图像数据集对深度学习模型进行预训练；将图像数据集中的测试样本按类输入至预训练后的深度学习模型中，获得每类测试样本的神经通路激活状态的特征矩阵M；

(2)从图像数据集的剩余类中随机选取一类，构建该类的批处理池，该类的特征矩阵M用于生成准测试样本；将图像数据集放入批处理池中；

(3)从批处理池中随机选取若干个测试样本作为种子样本；对种子样本进行变异得到变异样本；对变异样本进行功率调整，确定变异样本下次进行变异的概率；