[发明专利]用于预防对AI单元进行攻击的防御生成器、方法以及计算机可读存储介质在审
申请号: | 202080072435.0 | 申请日: | 2020-10-13 |
公开(公告)号: | CN114616568A | 公开(公告)日: | 2022-06-10 |
发明(设计)人: | 菲利克斯·阿森;弗洛伦斯·法比安·格斯纳;弗兰克·克瑞奇米尔;斯蒂芬·欣泽 | 申请(专利权)人: | 纽罗卡特有限责任公司 |
主分类号: | G06F21/64 | 分类号: | G06F21/64;G06K9/62;G06N3/04;G06N3/08;G06V10/82;G06V10/764 |
代理公司: | 上海晨皓知识产权代理事务所(普通合伙) 31260 | 代理人: | 成丽杰 |
地址: | 德国*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 预防 ai 单元 进行 攻击 防御 生成器 方法 以及 计算机 可读 存储 介质 | ||
本申请涉及一种用于动态生成至少一个AI防御模块(16)的防御生成器(20)。本申请的核心特征是确定模型数据的分布函数。本申请基于模型数据属于模型流形或具有相似统计行为的假设。因此,可以对输入数据集确定输入数据集的数据是否可以与对抗攻击相关联。例如,如果在输入数据集中发现统计异常,则可以确定输入数据集的数据可以与对抗攻击相关联。
技术领域
本申请涉及一种用于动态生成至少一个AI防御模块的防御生成器、一种针对AI单元的对抗攻击的防御系统、一种动态生成AI防御模块的方法、一种预防对AI单元进行攻击的方法,以及一种计算机可读存储介质。
背景技术
现有技术中已知大多数机器学习方法都容易受到对抗性干扰。因此,对对抗性干扰的鲁棒性是机器学习方法开发中的主要挑战。
当要分类的数据以人类观察者无法注意到变化的方式发生变化时,就会发生对抗性干扰,但不可能再通过AI单元进行正确分类。因此,可能会发生多次错误分类。
在图像分类的情况下,例如在图像数据的分割中,对抗性干扰可能是由输入图像上的叠加噪声引起的。这种噪声可以以人类观察者无法识别的方式插入到输入图像中。
然而,对抗性干扰不会发生在自然环境中,即通常提供的传感器数据中。对抗性干扰发生的一种情况是当AI单元受到攻击时。这意味着攻击者会修改提供给AI单元进行分类的数据,使其无法正确分类。这会导致重大的安全风险,尤其是在高度自动化驾驶等安全性至关重要的应用方面。例如,如果在高度自动驾驶中发生错误分类,车辆可能无法识别停车标志或错误识别停车标志,也有可能车辆在红灯时不停车,对道路交通的其他参与者构成极大危险。
因此,目标之一是降低对抗性攻击的风险。有一些孤立的方法可以实现这一目标,但它们是针对特定攻击量身定制的。这意味着,到目前为止,只能在攻击发生时制定对策。
但是,众所周知,利用对抗性干扰对AI实体进行攻击的可能性有无限种。
因此,本申请的目的是提供一种预防AI单元免受对抗攻击的方法。特别地,本申请的目的是识别对抗攻击。更特别地,本申请的目的是设计一种针对对抗攻击具有鲁棒性的AI单元。更具体地,本申请的目的是使为AI单元生成无限数量的防御模块成为可能。
发明内容
本申请的目的通过根据权利要求1所述的一种用于动态生成至少一个AI防御模块的防御生成器、根据权利要求10所述的一种针对AI单元的对抗攻击的防御系统、根据权利要求11所述的一种动态生成AI防御模块的方法,根据权利要求12所述的一种预防针对AI单元进行攻击的方法,以及根据权利要求14所述的一种计算机可读存储介质,得以实现。
具体地,上述目的通过一种动态生成至少一个AI防御模块的防御生成器来实现,该防御生成器包括以下内容:
-分块单元,用于确定模型数据的至少一个分块,其中模型数据与AI单元相关联,
并且至少一个分块表示模型数据的至少一个子集;
-聚合单元,用于确定聚合数据,其中聚合数据将至少一个,特别是数学上的关键值分配给至少一个分块;
-分布单元,用于确定聚合数据的分布函数;
-推理单元,用于使用分布函数确定至少一个推理配置;
-数据转换单元,用于使用至少一个推理配置为AI单元生成至少一个AI防御模块,
其中至少一个AI防御模块用于对AI单元的输入数据集执行以下步骤:
ο确定对AI单元的攻击是否可能与输入数据集相关联;和/或
ο使用数据转换来确定第二输入数据集,其中对AI单元的攻击不能与第二输入数据集相关联。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于纽罗卡特有限责任公司,未经纽罗卡特有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202080072435.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:具有增益提升的放大器
- 下一篇:用于监测过程的方法和系统