[发明专利]基于多种对抗样例攻击的智能防御算法推荐方法及系统

说明书

本发明公开了一种基于多种对抗样例攻击的智能防御算法推荐方法，包括以下步骤：对原始数据集进行清洗，得到训练集；利用训练集训练目标识别模型，得到目标攻击模型；选取不同的对抗样例攻击算法，攻击目标攻击模型；量化评估每种对抗样例攻击算法的攻击成功率，根据攻击成功率选择目标攻击算法；针对每种目标攻击算法，逐一应用对抗攻击防御算法进行防御；根据防御结果向用户推荐相应的对抗攻击防御算法。本发明还公开了智能防御算法推荐方法所采用的智能防御算法推荐系统。针对具体的目标模型，本发明的智能防御算法推荐系统可以智能的推荐有效的防御算法，从而减小对抗样例攻击给目标模型造成的损失。

技术领域

本发明涉及机器学习模型安全与隐私问题中存在的对抗样例攻击和防御的安全技术领域，尤其涉及一种基于多种对抗样例攻击的智能防御算法推荐方法及系统。

背景技术

机器学习是人工智能的核心，近年来机器学习得到了前所未有的发展，其应用遍及人工智能的各个领域。尤其是在数据挖掘、计算机视觉、自然语言处理、语音和手写体识别、无人驾驶等领域，机器学习的应用取得了巨大的成功。现如今，无论是在学术界还是在工业界，机器学习都受到了广泛的关注和深入的研究。机器学习的发展已经进入了一个全新的阶段，各种机器学习算法和模型层出不穷，在很多场景下，当呈现自然发生的输入时，其表现甚至胜过了人类。

当然，机器学习还并没有达到人类的真正水平，因为即使面对一个微不足道的攻击，大多数机器学习算法都会失败。然而，大多数的研究者并没有考虑这个问题。通常在设计机器学习系统时，为了保证设计的系统是安全的、可信赖的并且结果能达到预期效果，我们通常会考虑特定的威胁模型，这些模型是对那些企图使我们的机器学习系统出错的攻击者的攻击能力和攻击目标的假设。

迄今为止，现有大多数的机器学习模型都是针对一个非常弱的威胁模型设计实现的，没有过多的考虑攻击者。尽管在面对自然的输入时，这些模型能有非常完美的表现，但在现实环境下，这些机器学习模型会遇到大量的恶意用户甚至是攻击者。例如，当模型被训练(学习阶段)或者模型进行预测时(推理阶段)时，攻击者也有不同程度的能力对模型的输入、输出做出恶意的修改或者是通过某种手段访问模型的内部构件，窃取模型的参数，从而破坏模型的保密性、完整性和可用性，这就是机器学习模型中的安全和隐私问题。

机器学习模型最容易受到完整性攻击，这种攻击既可以发生在模型的学习阶段，也可以发生在模型的推理预测阶段，如果攻击者破坏了模型的完整性，那么模型的预测结果就会偏离预期。在破坏机器学习模型完整性的攻击中，最常见的就是对抗样例攻击。在模型的学习阶段，干扰机器学习模型的训练过程，体现的攻击策略是当用户于生产时让机器学习模型出现更多的错误，在这一阶段，最常见的攻击就是利用对抗样例进行数据下毒攻击，攻击者可以通过修改现有的训练集或者增加额外的恶意数据，影响模型的训练过程，破坏模型的完整性从而达到降低模型在预测推理阶段准确性的目的。在模型的推理预测阶段，模型的完整性同样容易受到对抗样例攻击。在模型训练完成并用于预测时，攻击者只需要在待预测的样本中添加很小的扰动，这种扰动人眼无法识别但足以让模型分类出错。

已有的研究提出了多种针对不同应用场景的对抗样例生成方法，针对不同攻击目标的对抗样例攻击也被广泛的应用到实际中。相对于对抗样例攻击，对抗样例攻击防御相关研究就要困难很多。目前大多数的防御算法都是一种静态的、只针对特定的对抗样例攻击的防御方法，没有一种统一的防御算法推荐和评估系统。

发明内容

针对机器学习模型中存在的安全与隐私问题以及对破坏机器学习模型完整性的对抗样例攻击的防御技术的不足，本发明提供了一种基于多种对抗样例攻击的智能防御算法推荐方法。

本发明提供了如下技术方案：

一种基于多种对抗样例攻击的智能防御算法推荐方法，包括以下步骤：

(1)对原始数据集进行清洗，剔除其中的对抗样本，得到训练集；

(2)利用训练集训练目标识别模型，得到目标攻击模型；