[发明专利]硬标签黑盒深度模型对抗样本的生成方法、存储介质有效
申请号: | 202110865404.7 | 申请日: | 2021-07-29 |
公开(公告)号: | CN113673581B | 公开(公告)日: | 2023-08-01 |
发明(设计)人: | 卢志勇;周毅;余光泽;吴振楠;陈来传;郭伟 | 申请(专利权)人: | 厦门路桥信息股份有限公司 |
主分类号: | G06V10/774 | 分类号: | G06V10/774;G06V10/764;G06V10/82;G06V10/776;G06N3/08 |
代理公司: | 厦门创象知识产权代理有限公司 35232 | 代理人: | 尤怀成 |
地址: | 361000 福建省厦门市软件园三期诚毅大街3*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 标签 黑盒 深度 模型 对抗 样本 生成 方法 存储 介质 | ||
本发明提供硬标签黑盒深度模型对抗样本的生成方法、存储介质,方法包括:输入原图像和目标图像;初始化对抗图像为目标图像;采用双方向的随机游走优化算法在保证对抗图像的分类为目标图像对应的目标类别的前提下进行迭代优化计算,以使所述对抗图像逼近所述原图像;其中,所述双方向包括随机方向和确定方向;所述迭代优化计算过程中,依据对抗图像与原图像距离缩小的实际值与期望值的比例动态调整所述双方向之间的权重系数,并且将历史查询信息作为先验知识指导当前采样。本发明能够有效地减少对模型的查询次数,同时显著提高攻击成功率。
技术领域
本发明涉及黑盒攻击技术领域,特别涉及一种硬标签黑盒深度模型对抗样本的生成方法、存储介质。
背景技术
随着技术的发展,机器学习特别是深度神经网络展现出巨大的性能优势,已经在包括括语音识别、图像识别、视频跟踪、自然语音处理等在内的图、文、视频等多个领域得到部署和应用。然而深度神经网络也有其脆弱性,研究证实通过对输入添加微小的扰动能有效干扰深度神经网络的输出结果。这给诸如自动驾驶、人脸验证等许多安全相关领域的带来忧患。
研究攻击方法可以帮助提高模型的鲁棒性。根据攻击者对被攻击模型的了解程度可以将攻击分为白盒攻击与黑盒攻击。黑盒攻击场景下,攻击者不清楚被攻击模型包括网络结构、模型参数等内部信息,只能通过输入样本获取对应输出来做判断。一些攻击尝试通过在已有的模型上进行白盒攻击生成对抗噪声,然后迁移到目标模型上的方式来进行黑盒攻击。这种攻击方式可以很快地生成对抗样本,但是攻击成功率较低。还有一些基于查询的方式通过反复输入图片,得到反馈,来更新对抗噪声。这类方式通常能达到很高的攻击成功率,但是需要对模型进行上千次的查询。这在实际场景中开销巨大,并且很容易被线上系统通过限制频率来防御。
硬标签黑盒模型不输出置信度等连续值信息,只输出最终的类别这类离散,加大了黑盒攻击的难度。一些研究者从目标类别样本出发,迭代的采样去靠近原始输入样本。而由于未能充分利用迭代过程中的信息,现有方法往往需要消耗大量的迭代和查询次数。因此,一种更高效的硬标签黑盒对抗生成样本方法将成为研究和应用的重点。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此,本发明的一个目的在于提出一种硬标签黑盒深度模型对抗样本的生成方法,能够有效地减少对模型的查询次数,同时显著提高攻击成功率。
本发明的第二个目的在于提出一种计算机可读存储介质,能够实现上述硬标签黑盒深度模型对抗样本的生成方法。
为达到上述目的,本发明第一方面实施例提出了一种硬标签黑盒深度模型对抗样本的生成方法,包括以下步骤:
输入原图像和目标图像;
初始化对抗图像为目标图像;
采用双方向的随机游走优化算法在保证对抗图像的分类为目标图像对应的目标类别的前提下进行迭代优化计算,以使所述对抗图像逼近所述原图像;其中,所述双方向包括随机方向和确定方向;所述迭代优化计算过程中,依据对抗图像与原图像距离缩小的实际值与期望值的比例动态调整所述双方向之间的权重系数,并且将历史查询信息作为先验知识指导当前采样。
根据本发明实施例的硬标签黑盒深度模型对抗样本的生成方法,对于输入的原图像,首先初始化目标类别图像;接着采用改进的随机游走策略迭代地对对抗噪声进行逐步更新来缩小与原图像的距离,在上一步迭代的基础上,每一步迭代的方向为从一个确定方向和一个随机方向采样得到的矢量加权和;通过黑盒模型输出判断如果该步得到的样本为目标类别的对抗样本,则更新噪声;为了加速优化,将之前的查询信息作为先验知识指导当前采样;为了平衡两个方向的影响,基于与原图像距离缩小的实际值与期望值的比值动态调整两个方向的系数。从而使得在若干轮迭代后,便可高效地得到的最小的能使黑盒模型判断出错的对抗扰动。本发明基于历史查询信息,并且不引入复杂的优化过程,同时具有操作简单的优点。因此,本发明提出的黑盒攻击相比传统硬标签黑盒攻击方法,有效地减少了对模型的查询次数,提高了攻击成功率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门路桥信息股份有限公司,未经厦门路桥信息股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110865404.7/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种降低高炉燃料比的方法
- 下一篇:一种宽幅可调节冲孔装置