[发明专利]基于模糊测试的对抗样本生成方法、系统、终端及介质

说明书

本发明公开了基于模糊测试的对抗样本生成方法、系统、终端及介质，涉及人工智能、网络空间安全技术领域。在黑盒模型场景下，自动生成对抗样本；对生成样本的对抗性通过深度神经网络的输出结果进行评价；基于线性变换的突变、基于仿射变换的突变、基于噪声的突变和基于点的突变，提升整个突变过程的可解释性以及使突变过程具有可重复性；在白盒模型场景下对生成的对抗样本于模型中的激活覆盖率数值进行分析，计算突变方向以生成对抗性更强的对抗样本，同时对模型进行进一步优化。本发明在机器学习和深度学习领域的攻防上占据优势，甚至在更早的训练模型阶段提前规避潜在的威胁和攻击。

技术领域

本发明属于人工智能、网络空间安全技术领域，尤其涉及一种基于模糊测试的对抗样本生成方法、系统、终端及介质。

背景技术

目前，深度学习已经在广泛应用于图像识别和分类的问题中，成为人工智能应用的关键所在。但深度学习的可解释性差，导致在人工智能系统应用中其鲁棒性和系统安全性难以得到保障。“对抗样本”这一概念的提出给深度学习领域的攻防提供了新的要求，也让系统安全性的优化有了新的思路。而如何高效生成对抗样本成为了制约模型鲁棒性和安全性优化的新瓶颈。

随着深度神经网络技术的飞速发展，硬件算力的显著提升以及各领域大数据的普及。深度学习已经在人脸识别、医疗影像、自动驾驶等安全攸关的领域取得了极大的成就，而在这些技术带来巨大便利的同时，深度神经网络相关的安全问题也不得不引起重视。

对抗样本是一种对输入样本添加一些扰动生成的样本，而系统模型会对对抗样本产生误判，即以高置信度来预测一个错误结果。对抗样本的存在对深度神经网络带来了很大的安全隐患，故而生成对抗样本的技术对于针对机器深度学习领域的攻防上有着重大的意义。

现有的方法主要分为白盒方法和黑盒方法两类：

白盒方法在生成对抗样本过程中需要获得深度神经网络的内部状态来帮助生成对抗样本。其中最常见的是基于梯度下降的快速梯度符号法(FGSM)、ILCM法、AdversarialPatch法、DDN法，基于前向导数的雅克比映射法，基于牛顿法的BFGS法，综合三种方法进行改进的CW法等。这类方法的核心本质是将神经网络的预测值与原始标签之间的差异定义为目标函数，并对该函数进行优化，以得到能够使神经网络进行错误分类同时扰动最小的对抗样本。

黑盒方法在对抗样本生成的过程中只关注深度神经网络模型的输入和输出，而不关注网络的内部状态。现存的主流方法有：

动量迭代梯度法(MI-FGSM)，该方法基于对抗样本的迁移性能(即对于一个模型构造的对抗样本也可以欺骗另一个模型)，利用已知的白盒模型来构造针对未知结构和参数黑盒模型的对抗样本。

ONE-PIXEL法，该方法基于差分进化，经过对每个像素的迭代操作，选出最好的单像素扰动样本结果作为对抗样本。

P-RGF法，该方法是在梯度估计框架下进行查询反馈，即通过向目标模型查询偏向传输梯度的随机向量，进行随机样本的抽取，充分利用先验信息来提供梯度估计以生成对抗样本。

上述的方法的理论核心均是解决一个优化问题，计算出一个最小的的扰动能够“欺骗”目标神经网络。尽管在对抗性(即难以被人察觉)上，现有的技术都具有良好的表现，但是这种优化问题也具有明显的缺点：即需求庞大的计算开销以及较长的耗时。而实际应用中往往对扰动的需求是在某一个区间内，寻找最小的扰动在实际应用中反而是对算力的浪费。