[发明专利]可证明鲁棒的能够解释的机器学习模型的系统

说明书

用于鲁棒机器学习(ML)的系统和方法包括攻击检测器，该攻击检测器包括一个或多个深度神经网络，深度神经网络使用从生成式对抗网络(GAN)生成的对抗示例来训练，基于输入是对抗性的可能性来产生警觉性得分。通过在操作的推断阶段期间部署的ML模型的类型和尺寸来动态地适配各种类型和尺寸的独立鲁棒ML模型的动态集成并且所有模型都被训练以执行基于ML的预测。自适应集成响应于从攻击检测器接收的警觉性得分。具有能够解释的神经网络模型的数据保护器模块被配置为预先筛选集成的训练数据，以检测初始训练数据中的潜在数据投毒或后门触发。

技术领域

本申请涉及网络安全。更具体地，本申请涉及用于机器学习系统的能够解释的安全措施。

背景技术

在诸如自主汽车操作和国防等许多关键应用中，保护不受恶意影响的机器学习(ML)模型系统的安全性是重要的关注点。可以独立地改进ML算法，但是此类措施可能不足以处理日益复杂的攻击场景。近年来，对各种形式的ML欺骗技术的研究迅速增长，诸如(a)防止经由微小的表面改变(例如，点或涂料的应用)来识别或强制错误识别物理对象，(b)训练检测器以接受错误输入的能力，以及(c)外部推断ML模型并自主地生成强制错误的能力。

对抗输入生成集中在修改由ML模型正确处理的输入以使其行为不当。这些对抗输入通常是有效输入的较小的(对于给定的度量)变化，并且实际上是人类察觉不到的。它们已经在诸如图像和视频分析、音频转录和文本分类的许多领域中被发现或构建。大多数公布的攻击依赖于随机搜索技术来识别特定模型的对抗示例。然而，许多此类攻击最终对ML模型和架构是有效的，而不是开发攻击的模型和架构。诸如期望过变换之类的技术使得创建可以被传送到物理世界中并且抵抗诸如相机角度和照明条件之类的各种类型的噪声的对抗输入成为可能。可以向任何图像添加对抗的补丁以强制错误分类。最后，通用攻击是最难以创建的，因为它们涉及可以应用于任何有效输入以导致相同错误分类的扰动。

数据投毒涉及在训练集中引入不正确标记的(或“中毒的”)数据，目的是迫使所得模型产生特定错误。后门攻击引入具有名义上正确的标签但具有模型学习的“触发”的训练实例，并且其可在推断时间使用以迫使模型进入错误决策。传统的ML模型采用黑盒操作方案，通过该黑盒操作方案，鲁棒性是不可证明的，因为结果是不能够解释的。

发明内容

公开了一种机器学习(ML)系统设计，其对于对抗的示例攻击和数据投毒是鲁棒的。ML系统提供防御组件，该防御组件包括：(i)能够针对计算限制来折衷鲁棒预测的独立鲁棒ML模型的动态集成，(ii)具有正式验证的鲁棒性保证的对抗输入的可证明鲁棒攻击检测器，其通过警觉性得分来驱动动态集成的行为和组成，和(iii)防御训练数据以防止中毒的鲁棒且能够解释的数据保护器。

在一方面，用于鲁棒机器学习的系统包括攻击检测器，该攻击检测器具有使用从多个模型生成的对抗示例训练的一个或多个深度神经网络，包括生成式对抗网络(GAN)。攻击检测器被配置为基于输入是对抗性的可能性来产生警觉性得分。各种类型和尺寸的独立鲁棒机器学习(ML)模型的动态集成，所有模型都被训练以执行基于ML的预测，该动态集成应用在操作的推断阶段期间动态地适配为该动态集成部署的ML模型的类型和尺寸的控制函数，该控制函数响应于从攻击检测器接收的警觉性得分。

在一方面，该系统还包括数据保护器模块，该数据保护器模块包括能够解释的神经网络模型，该能够解释的神经网络模型被训练成学习用于解释类预测的原型，依赖于潜在空间的几何形状形成初始训练数据的类预测，其中类预测确定测试输入如何同类于来自每一类的输入的原型部分，并且在来自不相关类的原型部分被激活的情况下检测初始训练数据中的潜在数据投毒或后门触发。