[发明专利]基于代理模型的对抗样本生成方法和装置

说明书

本发明提供了一种基于代理模型的对抗样本生成方法和装置。该方法包括：提供代理模型、原始样本和一基于迭代的对抗样本生成算法；基于代理模型、原始样本和对抗样本生成算法迭代生成对抗样本，直到达到预设终止条件；在每个迭代轮次中：获取上一轮次迭代生成对抗样本时，所述代理模型的损失结果和各个参数自身的权重；基于所述代理模型的损失结果和所述参数自身的权重计算各个参数自身的梯度；将各个参数的梯度作为对应参数的重要性分数；根据预设规则以及所述代理模型的各个参数的重要性分数剪除所述代理模型的部分参数；根据剪除部分参数后保留的各个参数更新所述代理模型；将达到预设终止条件时生成的对抗样本作为最终的对抗样本。

技术领域

本发明的实施方式涉及神经网络技术领域，更具体地，本发明的实施方式涉及一种基于代理模型的对抗样本生成方法和装置。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

图像识别作为计算机视觉中的一个重要的任务，由于深度神经网络的带动，也取得了巨大的发展。并且图像识别系统在金融/支付，公共交通以及罪犯识别等现实场景中有很多的应用。虽然图像识别系统取得了很大的成功与实际应用，但是这些系统还无法完全确保具备足够的安全性。

近几年来，深度学习在图像、语音和自然语言等领域取得突破性成果。但是，对于一些可以达到很高准确识别率的深度神经网络模型，在对抗环境中却也很容易受到攻击。在对抗环境中，深度神经网络模型会被输入一些基于正常样本恶意构造的对抗样本（例如，图片或者语音信息），在对抗样本的攻击下，深度神经网络模型会做出错误的预测。因此，采用对抗样本对深度神经网络进行攻击可以检测出深度神经网络模型潜在的漏洞，继而用于评估和提升深度神经网络模型的安全性。

发明内容

在本上下文中，本发明的实施方式期望提供一种基于代理模型的对抗样本生成方法、装置、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种基于代理模型的对抗样本生成方法，包括：

提供代理模型、原始样本和一基于迭代的对抗样本生成算法；

基于代理模型、原始样本和对抗样本生成算法迭代生成对抗样本，直到达到预设终止条件；

在每个迭代轮次中：

获取上一轮次迭代生成对抗样本时，所述代理模型的损失结果和各个参数自身的权重；

基于所述代理模型的损失结果和所述参数自身的权重计算各个参数自身的梯度；

将各个参数的梯度作为对应参数的重要性分数，所述重要性分数用于表示相应轮次中代理模型的对应参数对生成的对抗样本的影响程度；

根据预设规则以及所述代理模型的各个参数的重要性分数剪除所述代理模型的部分参数；

根据剪除部分参数后保留的各个参数更新所述代理模型；

将达到预设终止条件时生成的对抗样本作为最终的对抗样本。

在本实施方式的一个实施例中，获取上一轮次迭代生成对抗样本时，所述代理模型的损失结果，包括：

根据预设方式随机采样生成多个服从预设概率分布的白噪声；

在该轮次生成的对抗样本上叠加所述白噪声得到多个输入样本；

将所述多个输入样本输入所述代理模型得到多个损失结果；

基于所述代理模型的损失结果和所述参数自身的权重计算各个参数自身的梯度，包括：

基于所述多个损失结果和各个参数自身的权重计算得到每一个参数的多个梯度；