[发明专利]一种用于神经网络模型测试的图像生成方法

说明书

本发明公开一种用于神经网络模型测试的图像生成方法，步骤包括：S1.给定目标神经网络模型一个预设输入，当预设输入在目标神经网络模型中进行传播计算时，收集处于激活状态的神经元，获取得到激活神经元集合；S2.对激活神经元集合进行更新，得到更新后激活神经元集合；S3.将更新后激活神经元集合作为约束条件，利用约束求解器进行图像生成，以生成符合更新后激活神经元集合约束的图像。本发明能够利用类似符号执行方式生成特定的图像，使得激活感兴趣的神经元，从而提高神经网络模型测试的覆盖率。

技术领域

本发明涉及图像生成技术领域，尤其涉及一种用于神经网络模型测试的图像生成方法。

背景技术

随着机器学习方法，特别是深度学习的发展，深度学习被广泛使用到图像分类、语音和音频识别，甚至是自动驾驶或飞行控制系统中。虽然深度学习在这些领域取得了巨大的成功，但由于深度学习的内部机制不透明，这些应用的安全性和可靠性仍然没有得到很好的保证。以对抗样本为例，给定一个训练良好的神经网络模型和一个被分类正确的输入，通过添加一些人类无法察觉的小扰动到该输入上得到新的输入后，新的输入却被同一神经网络模型错误分类，该类新输入即为对抗样本，对抗样本问题会对深度学习系统造成不能忽视的安全隐患。

针对深度学习系统的安全保障问题，目前主要是采用验证和测试两类方法，其中验证方法通常会面临神经网络模型规模过大，值传播过程复杂等问题，因此发展进程相对缓慢，因而现有技术中大多数方法是测试类方法。作为一种相对轻量级的方法，测试类方法是通过生成大量不同的测试用例来对系统/模型的行为正确与否进行考量。对于如图像分类领域中，使用深度学习实现图像分类时，先依据训练数据库构建神经网络模型，构建完成后对模型进行不断测试以判断是否满足预设要求。

深度学习方法是一种对人脑信号传导的模拟。当前人们在对人脑工作机制的研究中，发现了许多有趣的现象。比如，通过对大脑能量消耗的观察，推测神经元的激活分布是稀疏的。有研究者估计只有1-4%的神经元可以在大脑处理一个任务时同时激活，这意味着皮层中的单个神经元可能只有在从事适当的任务时才会被强烈激活。从信号方面来看，神经网络会对少量输入信号有选择地响应，忽略无意义的输入信号，以提高精度。也就是说，由于深度学习方法是对一种人脑信号传导的模拟，可以利用测试技术，根据不同神经元的激活情况来探索深度学习方法的内部机制。

但是，目前对于神经元激活情况的观察，大多时候只能通过将已给定或随机生成的图像输入到模型中运行，然后观察神经元的激活情况，按照此方法就难以触发特定感兴趣的神经元，因而即便经过大量测试后测试覆盖率可能仍然不高，致使模型可能会存在对抗样本等问题。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种用于神经网络模型测试的图像生成方法，能够利用类似符号执行方式生成特定的图像，使得激活感兴趣的神经元，从而提高神经网络模型测试的覆盖率。

为解决上述技术问题，本发明提出的技术方案为：

一种用于神经网络模型测试的图像生成方法，步骤包括：

S1. 激活神经元收集：给定目标神经网络模型一个预设输入，当所述预设输入在目标神经网络模型中进行传播计算时，收集处于激活状态的神经元，获取得到激活神经元集合；

S2. 激活神经元更新：按照预设更新规则对所述激活神经元集合进行更新，以使得所述激活神经元集合中处于激活状态的神经元在更新前后发生变化，得到更新后激活神经元集合；

S3. 图像生成：将所述更新后激活神经元集合作为约束条件，利用约束求解器进行图像生成，以生成符合所述更新后激活神经元集合约束的图像。

进一步的：所述步骤S2中，采用随机方法对所述激活神经元集合进行更新，具体步骤包括：随机将未激活神经元添加至原始激活神经元集合中，和/或从原始激活神经元集合中随机删除指定数量的神经元，得到所述更新后激活神经元集合。