[发明专利]适用于人工智能系统的对抗样本快速预警方法及系统

说明书

本发明提供了一种适用于人工智能系统的对抗样本快速预警方法及系统，包括：深度学习模型构造步骤：在边缘服务器中构造深度学习模型；输出标签获取步骤：获取深度学习模型输出标签信息；新样本获取步骤：采用CGAN重构与深度学习模型输出标签对应的新样本；阈值比较判定步骤：判定新样本和原始输入之间的差别是否大于给定阈值，获取新样本判定结果信息；检测结果获取步骤：将深度学习模型的数据处理与对抗样本攻击的防御控制策略解耦为数据层和控制层两个部分，获取对抗样本攻击检测结果信息；预警信息获取步骤：根据对抗样本攻击检测结果信息，获取对抗样本快速预警信息。

技术领域

本发明涉及人工智能系统预警领域，具体地，涉及一种适用于人工智能系统的对抗样本快速预警方法及系统，尤其涉及一种工业人工智能系统中分布式的对抗样本快速预警方法。

背景技术

人工智能系统在工业领域中的许多场景下都具有极高的应用价值，其通过对收集到的数据进行分析，可以独立完成诸如表面缺陷检测，产品自动分拣甚至是流水线状态监控与调度等复杂的工业任务，进而降低大量的人力劳动成本提高生产效率。此外，对于某些不适合人工作业的危险环境，人工智能系统的应用可以减少安全事故的发生，保障工人的人身安全。近年来，深度学习的发展使得人工智能系统的可靠性在许多方面有了大幅度提升，如更精确的视觉检测技术和故障预测能力，进而使其具有了更高的应用价值，受到了工业界的广泛关注。考虑到许多工业应用场景对低时延以及保密性的需求，深度学习模型往往需要部署在本地进行数据处理。然而，在通常情况下，本地并不具备运行深度学习模型所需的计算资源，这使得工业人工智能系统的实际性能受到了限制。为解决这一问题，工业界与学术界提出了边缘计算的概念，其通过整合网络边缘的计算资源，如：路由器，基站，网关，移动设备和边缘服务器等，在数据源所在位置提供复杂的计算服务。相较于传统的云计算，在边缘计算中，数据可以在本地进行处理，因此避免了远程网络传输所带来的延时开销，缩短了服务的响应时间。此外，边缘计算使得敏感数据不必上传到云服务器，在本地环境下，用户的隐私可以被更好地保障。因此，将边缘计算应用于工业人工智能系统是现今主流的研究方向。在另一方面，工业人工智能系统的安全性也是决定其是否被采用的关键因素之一。如前文所述，深度学习的发展使得智能系统的准确性得到了大幅度的提升，其性能已基本能够满足现今工业场景的需求。但是，人工智能的安全性却仍是一个尚未解决的难题，严重阻碍了工业系统的智能化。对抗样本攻击是目前为止最具威胁性的一种针对深度学习模型的攻击方法，其在2015年由Ian Goodfellow提出，其攻击方式为对原始的样本添加特定的扰动，使得深度学习模型对原始样本做出错误的预测。常见的攻击方式包括：快速梯度攻击，雅克比映射攻击，深度欺骗攻击以及边界攻击。工业人工智能的发展将深度学习模型引入了工业界的同时也增加了由于对抗样本攻击而产生的安全隐患。如，在半导体产业中，供应商可以通过深度学习模型来识别电路板上的电子元件的类型。通过对抗样本攻击，攻击者可以干扰模型的预测结果，使模型将某一类电子元件错误识别，进而导致整个电路板的烧毁，造成严重的财产损失。因此，一个有效的针对对抗样本攻击的防御方法对于工业人工智能而言是不可或缺的。然而，工业场景复杂多变的特性为对抗样本攻击检测带来的新的挑战，其主要体现在以下三个方面：(1)工业环境的噪声会对原始样本造成干扰，进而在一定概率下会生成与对抗样本等效的输入；(2)攻击者可以以一种离散的和分布式的攻击技巧对原始样本进行干扰，使得其攻击信号很难被检测出来；(3)很多工业场景对时延非常敏感，如基于Tactile Internet的工业制造。因此，复杂的防御策略是无法被采用的。

专利文献CN109242294A公开了一种改进模糊神经网络的电力通信性能预警方法及装置，该方法包括获取步骤、模糊步骤、初始步骤、启动步骤、重复步骤、代入步骤、更新步骤、循环步骤、训练步骤、预警步骤，通过对通信网络的状态信息模糊化，构建基于模糊神经网络的故障预警自学习模型，在处理非线性、模糊性等问题上具有很大的优越性，并借用蚁群算法在解空间上全局搜索能力强、收敛速度快的优点，从而快速找到最优解，有效提高检索效率，提高设备故障预警准确率，快速高效地实现通信网络的事前预警。该专利并不能很好的适用于人工智能系统的预警中。

发明内容