[发明专利]访问受限的系统的对抗鲁棒性的测试

说明书

本公开的实施例涉及访问受限的系统的对抗鲁棒性的测试。对抗鲁棒性测试方法、系统和计算机程序产品包括经由加速器测试黑箱系统在不同访问设置下的鲁棒性。

技术领域

本发明总体上涉及对抗鲁棒性测试方法，并且更具体地但非限制性地涉及针对加速模块(即，加速器)的系统、方法和计算机程序产品，加速模块在不同访问设置下可靠地加速黑箱人工智能(AI)和机器学习(ML)模型的鲁棒性测试。

背景技术

对机器学习(ML)系统的黑箱攻击是对于对抗示例和生成这些对抗示例的算法的研究，该算法包括如何分析最先进的ML系统在极端情况下(例如，当可信图像被难以察觉的噪声故意破坏，从而欺骗训练有素的图像分类器进行错误分类时)的行为。这是当前AI领域最突出的主题之一，并且有可能帮助塑造不仅在一般情况下表现出色、并且在最坏情况或不利情况下也表现出色的高级AI平台的未来。

近年来，深度神经网络(DNN)在许多机器学习任务(例如，自然语言处理(NLP)、计算机视觉、语音处理等)中取得了重大突破。然而，尽管取得了成功，但是最近很多研究表明，即使最先进的DNN仍然容易受到对抗错误分类攻击的攻击。这引起了对DNN在极端情况下的鲁棒性的安全性担忧，这在需要高可靠度和相依性的许多应用领域(例如，面部识别、自动驾驶交通工具和恶意软件检测)中非常重要。对于对抗示例和生成对抗示例的可能攻击的调查已经成为AI安全性和安全中越来越普遍的话题，其目的是分析现代ML系统(例如，DNN)在极端情况下如何受到破坏。这种分析将揭示要采用的潜在防御措施，这实际上为构建将成为未来AI技术的核心引擎的新一代高度鲁棒和可靠的ML模型奠定了基础。

但是，关于该主题的大多数初步研究仍限于白箱设置，在白箱设置中，攻击者具有对目标系统(例如，DNN)和操作机制的完全访问和了解。例如，假设知道DNN模型的内部结构和参数，则攻击者可以计算输出相对于输入的梯度，以标识某些输入分量的值对预测输出的扰动的影响。因此，这可以用于构建可能被目标模型错误分类的对抗示例。尽管有理论上的兴趣，但是这种方法在实际黑箱系统中的使用通常非常有限，在黑箱系统中，公共ML系统的内部状态/配置和操作机制并未向从业人员透露，并且与系统交互的唯一方式是通过提交输入和接收对应的预测输出。

一种探索黑箱攻击的常规方法是使用经由零阶优化(“ZOO”)的梯度估计。该常规方法对模型进行查询，并估计相对于对应输入的输出梯度。然后，该方法采用“卡利尼和瓦格纳(Carlini and Wagner，CW)攻击方法”来生成对抗示例。但是，因为每次迭代都需要大量查询才能生成准确的梯度估算，所以该常规技术的计算量很大。

备选地，一种不同的常规技术旨在经由贪婪的局部搜索来估计输出梯度。在每次迭代中，常规技术只干扰输入分量的子集。该局部搜索技术在计算上非常高效，但是该技术未将原始输入及其干扰版本之间的失真明确地最小化。同样，合成的噪音通常看起来更明显。此外，该技术尚未在诸如ImageNet的数据密集型领域进行测试。

另一常规技术通过限定查询限制设置、部分信息设置和仅标签设置来研究更现实的威胁模型。基于自然进化策略和蒙特卡罗近似，提出了三种攻击方法。但是，该技术仅对L_∞范数施加了限制，而未将某个L_p范数最小化。

发明内容

因此，发明人已在本领域中确定了在利用深度神经网络(DNN)进行图像(即，输入)分类的应用中针对对抗攻击的需求。

在一个示例性实施例中，本发明提供了用于检查黑箱系统的学习性能的、计算机实现的对抗鲁棒性测试方法，该方法包括经由加速器来测试黑箱系统在不同访问设置下的鲁棒性。

一个或多个其他示例性实施例包括基于上述方法的计算机程序产品和系统。