[发明专利]使用定向攻击探索黑盒神经网络的方法、装置、处理设备、存储介质有效

专利信息
申请号: 202110717049.9 申请日: 2021-06-28
公开(公告)号: CN113298238B 公开(公告)日: 2023-06-20
发明(设计)人: 周晓勇;梁淑云;刘胜;马影;陶景龙;王启凡;魏国富;夏玉明;徐明;殷钱安;余贤喆 申请(专利权)人: 上海观安信息技术股份有限公司
主分类号: G06N3/04 分类号: G06N3/04;G06N3/094;G06F21/55
代理公司: 合肥市浩智运专利代理事务所(普通合伙) 34124 代理人: 张景云
地址: 200333 上海市浦东新*** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 使用 定向 攻击 探索 黑盒 神经网络 方法 装置 处理 设备 存储 介质
【说明书】:

发明公开一种使用定向攻击探索黑盒神经网络的方法、装置、处理设备及存储介质,本发明对及候选网络模型均通过多种攻击算法获得对抗样本,利用丰富的对抗样本集分别对候选网络模型和未知网络模型进行攻击,比较攻击结果,攻击结果最接近的两个模型结构和参数最相似,采用该方法,能够快速找到黑盒神经网络的结构和参数,可提高对抗样本鲁棒性,避免单一生成模型与攻击目标模型结构差异过大造成的攻击成功率低下问题。

技术领域

本发明涉及计算机数据安全技术领域,具体来说是一种使用定向攻击探索黑盒神经网络的方法、装置、处理设备和存储介质。

背景技术

根据攻击者是否掌握攻击目标模型的神经网络结构和参数,对抗样本攻击可以区分为白盒攻击和黑盒攻击。

在白盒攻击场景下,攻击者掌握攻击目标模型的神经网络结构和参数,可以选用多种白盒攻击算法生成对抗样本,并对多种算法的攻击成功率进行准确评估,选择成功率高的攻击算法。

但在黑盒攻击场景下,攻击者不知晓目标模型的神经网络结构和参数,仅有很少的黑盒攻击算法可供选择,且很难对攻击成功率进行准确评估。

迁移学习攻击算法是一种黑盒攻击算法,该算法基于模型集成的思想,对结构差异或大或小的多个模型进行集成学习,实验数据证明该算法生成的对抗样本对其中任意目标模型都能显著提高攻击成功率。迁移学习攻击算法的理论基础建立在以下结论之上:对抗样本在攻击与生成模型结构类似的攻击目标网络模型时表现接近。

第一种情况,在对抗样本生成模型和攻击目标模型完全相同的情况下攻击成功率可以达到100%,例如对抗样本生成模型和攻击目标模型都为ResNet-152,且网络参数相同。

第二种情况,在对抗样本生成模型和攻击目标模型近似的情况下攻击成功率可以达到80%-90%,例如对抗样本生成模型为ResNet-152、攻击目标模型为ResNet-101。

第三种情况,在对抗样本生成模型和攻击目标模型结构差异较大的情况下攻击表现起伏较大,例如使用ResNet生成的对抗样本,对于GoogLeNet的攻击成功率约为50%。

综上,迁移学习攻击算法的问题在于:1、仍无法达到白盒攻击的效果,实验数据显示,使用4种深度神经网络集成学习的对抗样本对第5种网络的攻击成功率为95%,无法达到白盒攻击近100%的成功率;2、集成网络中对抗样本生成的难度要高于单一网络,迁移学习攻击算法损失函数的一部分是各模型分类结果与定向攻击标签之间的差异,较难优化。

如申请号为CN201910515046.X-深度学习模型的鲁棒性评估方法装置及存储介质,其中深度学习模型的鲁棒性评估方法包括:获取与待评估的深度学习模型对应的开源模型和数据集;将数据集中的原始图像输入到开源模型中,生成与原始图像对应的对抗样本;调用待评估的深度学习模型,使用对抗样本对待评估的深度学习模型进行攻击;统计数据集中的原始图像对应的对抗样本对待评估的深度学习模型的攻击成功率;利用攻击成功率确定待评估的深度学习模型的鲁棒性指标。本对比文件中不用提供深度学习模型的网络结构定义和参数,属于黑盒评估方式,仅需调用该模型即可达到接近白盒攻击算法的评估效果。且该方法大大减少了攻击次数,提升了评估效率。该评估方法属于黑盒评估方式,在第一步获取与待评估的深度学习模型对应的开源模型和数据集时,由于不知道待评估模型结构和参数,所以无法保证选择的模型与数据待评估模型一致或接近,那么就存在上述的第三种情况。

发明内容

本发明所要解决的技术问题在于对于黑盒神经网络的结构和参数未知的情况下,提供一种高精度判断黑盒神经网络结构和参数的方法。

本发明通过以下技术手段实现解决上述技术问题的:

一种使用定向攻击探索黑盒神经网络的方法,包括以下步骤:

S01,获取样本集,并根据所述样本集确定一种或多种候选网络模型;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海观安信息技术股份有限公司,未经上海观安信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110717049.9/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top