[发明专利]具有鲁棒深度生成模型的系统和方法

说明书

一种机器学习系统包括编码器和解码器网络。所述机器学习系统被配置成获得输入数据，所述输入数据包括传感器数据和可容许扰动的ℓ_p范数球的半径。基于输入数据来生成输入边界数据。通过在编码器网络的第一和第二输出上分别传播所述输入边界数据来生成第一边界数据和第二边界数据。基于第一边界数据和第二边界数据、与隐变量相关联地生成第三边界数据。通过在解码器网络的输出上传播第三边界数据来生成第四边界数据。通过基于第一、第二、第三和第四边界数据来生成证据下边界的下边界从而关于所述输入数据来建立鲁棒性凭证。基于所述鲁棒性凭证来更新编码器和解码器网络，以在针对可容许扰动进行防御方面向机器学习系统提供鲁棒性。

技术领域

本公开总体上涉及机器学习系统，并且更具体地，涉及对对抗式攻击鲁棒的深度生成模型。

背景技术

一般来说，机器学习系统（诸如，深度神经网络）容易受到对抗式攻击。例如，机器学习系统可能会经由其输入而被攻击。这种对抗式攻击包括对输入的扰动，这种扰动引起机器学习系统的输出中的改变。例如，当对抗式攻击涉及传感器数据时，对该传感器数据的扰动可能例如通过提供不正确的输出数据而引起机器学习系统以非期望的方式做出行为，从而导致负面后果和影响。虽然在分类设置中、并且在较小程度上在诸如对象检测或图像分割之类的其他监督设置中有一些与对抗式攻击相关的工作，但是在向生成模型提供对对抗式攻击的防御解决方案方面，似乎没有太多的工作。

发明内容

以下内容是下面详细描述的某些实施例的概述。呈现所描述的方面仅仅是为了向读者提供这某些实施例的简要概述，并且对这些方面的描述并不意图限制本公开的范围。实际上，本公开可以涵盖下面可能没有明确阐述的各种方面。

根据至少一个方面，一种计算机实现方法包括：获得输入数据。输入数据包括传感器数据和可容许扰动的ℓ_p范数球的半径。该方法包括：基于输入数据来生成输入边界数据（bounding data）。该方法包括：通过在编码器网络的第一和第二输出上传播输入边界数据来生成第一边界数据和第二边界数据。该方法包括：生成第三边界数据，第三边界数据与隐变量相关联并且基于编码器网络的输出。该方法包括：通过在解码器网络的输出上传播第三边界数据来生成第四边界数据。该方法包括：通过基于第一边界数据、第二边界数据、第三边界数据和第四边界数据来生成证据下边界（ELBO）的下边界从而关于输入数据来建立鲁棒性凭证。该方法包括：基于鲁棒性凭证来更新编码器网络和解码器网络，使得包括编码器网络和解码器网络的机器学习系统在针对可容许扰动进行防御方面是鲁棒的。

根据至少一个方面，一种系统包括：致动器、传感器系统、非暂时性计算机可读介质和控制系统。传感器系统包括至少一个传感器。非暂时性计算机可读介质存储机器学习系统，该机器学习系统具有编码器网络和解码器网络，该编码器网络和解码器网络是基于形成该机器学习系统的损失函数的下边界的鲁棒性凭证来训练的。控制系统可操作以基于与传感器系统和机器学习系统的通信来控制致动器。控制系统包括至少一个电子处理器，该电子处理器可操作以获得输入数据，输入数据包括来自传感器系统的传感器数据和来自干扰的扰动数据，其中传感器数据被扰动数据所扰动。经由该机器学习系统来处理输入数据。经由该机器学习系统来生成输出数据。输出数据是传感器数据的重建。输出数据与未被扰动数据所扰动的似然性相关联。似然性对应于ELBO。传感器数据和输出数据是分布内数据，该分布内数据对应于与该机器学习系统相关联的模型分布。即使扰动数据被构造成使该机器学习系统将输入数据标识和处理为在模型分布之外的分布外数据，该机器学习系统也将输入数据标识和处理为在分布内数据的范围内。