[发明专利]量化深度学习计算系统对对抗性扰动的脆弱性

说明书

本公开的实施例涉及量化深度学习计算系统对对抗性扰动的脆弱性。提供了用于生成对抗性扰动攻击敏感度(APAS)可视化的机制。机制接收自然输入数据集和对应对抗性攻击输入数据集，其中对抗性攻击输入数据集包括旨在引起计算机模型错误分类的扰动。机制基于计算机模型对自然输入数据集和对应对抗性攻击输入数据集的处理，确定计算机模型对对抗性攻击输入数据集中扰动的敏感度测量。基于自然输入数据集和对抗性攻击输入数据集处理结果，机制为计算机模型生成分类激活图(CAM)，并基于敏感度测量生成敏感度覆盖。敏感度覆盖图形地表示扰动敏感度的不同分类。机制将敏感度覆盖应用于CAM，以生成并输出对抗性攻击的扰动的计算机模型敏感度的图形可视化输出。

技术领域

本申请一般涉及一种改进的数据处理装置和方法，并且更具体地涉及用于量化深度学习计算系统对对抗性扰动的脆弱性的机制。

背景技术

深度学习是基于与任务特定算法相反的学习数据表示的更广泛的机器学习方法家族的一部分。一些表示大致基于对生物神经系统中的信息处理和通信模式的解释，诸如试图定义各种刺激与大脑中的关联神经元反应之间的关系的神经编码。研究试图创建有效的系统以从大规模的、未标记的数据集中学习这些表示。

诸如深度神经网络、深度信念网络和递归神经网络之类的深度学习架构已经被应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译和生物信息学的领域，其中产生了可与人类专家媲美、甚至在一些情况下优于人类专家的结果。

基于神经网络的深度学习是一类机器学习算法，其使用许多层非线性处理单元的级联来进行特征提取和变换。每个后续层都使用来自前一层的输出作为输入。该算法可以是有监督的也可以是无监督的，并且应用包括模式分析(无监督的)和分类(有监督的)。基于神经网络的深度学习基于对数据的多个级别的特征或表示的学习，其中从较低级别的特征中导出较高级别的特征以形成分层表示。深度学习算法中使用的神经网络的非线性处理单元的层的组成取决于要被解决的问题。深度学习中已经使用的层包括人工神经网络的隐藏层和复杂的命题等式集。它们还可以包括在深度生成模型中按层组织的潜在变量，诸如深度信念网络和深度波尔兹曼(Boltzmann)机器中的节点。

发明内容

提供本发明内容以简化的形式介绍概念的选择，这些概念在本文的详细描述中进一步描述。本发明内容既不旨在标识所要求保护的主题的关键因素或必要特征，也不旨在被用来限制所要求保护的主题的范围。

在一个说明性实施例中，提供了一种在包括至少一个处理器和至少一个存储器的数据处理系统中的方法，至少一个存储器包括指令，该指令由至少一个处理器执行以特定地配置至少一个处理器来实现对抗性扰动攻击敏感度(APAS)可视化系统。该方法包括：由至少一个处理器所实现的APAS可视化系统接收自然输入数据集和对应的对抗性攻击输入数据集，以用于由APAS可视化系统进行评估。对抗性攻击输入数据集的数据结构包括旨在引起计算机模型错误分类的扰动。该方法还包括由APAS可视化系统基于计算机模型对自然输入数据集和对应的对抗性攻击输入数据集的处理来确定计算机模型对对抗性攻击输入数据集中的扰动的至少一个敏感度测量。此外，该方法包括：由APAS可视化系统基于自然输入数据集和对抗性攻击输入数据集的处理结果为计算机模型生成分类激活图(CAM)，以及由APAS可视化系统基于至少一个敏感度测量来生成敏感度覆盖。敏感度覆盖图形地表示扰动敏感度的不同分类。另外，该方法包括：由APAS可视化系统将敏感度覆盖应用于CAM，以生成对对抗性攻击的扰动的计算机模型敏感度的图形可视化输出，以及由APAS可视化系统将图形可视化输出输出给用户计算设备以用于可视化显示给用户。

在其他说明性实施例中，提供了一种计算机程序产品，其包括具有计算机可读程序的计算机可用或可读介质。计算机可读程序当在计算设备上被执行时使计算设备执行以上关于方法说明性实施例概述的操作中的各种操作或操作的组合。