[发明专利]量化深度学习计算系统对对抗性扰动的脆弱性

权利要求书

1.一种在包括至少一个处理器和至少一个存储器的数据处理系统中的方法，所述至少一个存储器包括指令，所述指令由所述至少一个处理器执行以特定地配置所述至少一个处理器来实现对抗性扰动攻击敏感度(APAS)可视化系统，所述方法包括：

由所述至少一个处理器实现的所述APAS可视化系统接收自然输入数据集和对应的对抗性攻击输入数据集，以用于由所述APAS可视化系统进行评估，其中所述对抗性攻击输入数据集的数据结构包括旨在引起计算机模型错误分类的扰动；

由所述APAS可视化系统基于由所述计算机模型对所述自然输入数据集和所述对应的对抗性攻击输入数据集的处理来确定所述计算机模型对所述对抗性攻击输入数据集中的所述扰动的至少一个敏感度测量；

由所述APAS可视化系统基于所述自然输入数据集和所述对抗性攻击输入数据集的所述处理的结果针对所述计算机模型生成分类激活图(CAM)；

由所述APAS可视化系统基于所述至少一个敏感度测量来生成敏感度覆盖，其中所述敏感度覆盖图形地表示扰动敏感度的不同分类；

由所述APAS可视化系统将所述敏感度覆盖应用于所述CAM，以生成对于对抗性攻击的扰动的所述计算机模型敏感度的图形可视化输出；以及

由所述APAS可视化系统将所述图形可视化输出输出到用户计算设备，以用于可视化显示给用户。

2.根据权利要求1所述的方法，其中由所述敏感度覆盖图形地表示的扰动敏感度的所述不同分类包括：指示以促进为主导的扰动的第一分类，所述以促进为主导的扰动促进与所述对抗性攻击输入数据集的目标输出相对应的所述计算机模型的输出；以及指示以抑制为主导的扰动的第二分类，所述以抑制为主导的扰动抑制与所述自然输入数据集的真实输出相对应的所述计算机模型的所述输出。

3.根据权利要求1所述的方法，还包括：

由扩展的训练数据集生成引擎基于所生成的所述敏感度覆盖修改用于训练所述计算机模型的训练数据集，以生成扩展的训练数据集；以及

将所述扩展的训练数据集输出到计算模型训练系统，所述计算模型训练系统基于所述扩展的训练数据集训练所述计算机模型。

4.根据权利要求3所述的方法，其中修改所述训练数据集包括：

通过将一个或多个扰动引入到在所述敏感度覆盖中被标识为具有指定分类的扰动敏感度的一个或多个区域中的所述自然输入数据集中，来由所述扩展的训练数据集生成引擎在所述训练数据集中生成一个或多个自然输入数据集的至少一个对抗性版本；以及

由所述扩展的训练数据集生成引擎将所述一个或多个自然输入数据集的所述至少一个对抗性版本添加到所述训练数据集，以生成所述扩展的训练数据集。

5.根据权利要求3所述的方法，还包括：

由所述计算模型训练系统基于所述扩展的训练数据集对所述计算机模型执行机器学习操作，以训练所述计算机模型得到强化以抵抗对抗性攻击。

6.根据权利要求1所述的方法，其中基于由所述计算机模型对所述自然输入数据集和所述对应的对抗性攻击输入数据集的处理来确定所述计算机模型对所述对抗性攻击输入数据集中的所述扰动的至少一个敏感度测量包括：通过在包括像素级别、网格级别、或图像级别中的至少一个级别的一个或多个粒度下标识所述计算机模型中的logit得分的变化，来测量由一个或多个扰动在所述对应的对抗性攻击输入数据集中的存在或不存在所造成的对所述计算机模型的输出的效果。

7.根据权利要求1所述的方法，其中确定所述计算机模型对所述对抗性攻击输入数据集中的扰动的至少一个敏感度测量包括：针对所述对抗性攻击输入数据集中的每个扰动生成促进-抑制比(PSR)，并且其中所述PSR是对应的扰动对所述计算机模型的错误分类的促进效果和抑制效果的测量。

8.根据权利要求7所述的方法，其中确定所述计算机模型的至少一个敏感度测量还包括生成可解释性得分以量化对抗性扰动的可解释性。