[发明专利]模型提取攻击的动态防御方法、系统、介质、设备及应用

说明书

本发明属于网络安全技术领域，公开了一种模型提取攻击的动态防御方法、系统、介质、设备及应用，使用MLaaS，在线上部署待保护的智能模型；引入差分隐私技术，设定隐私预算，应用到模型中；模型收到请求后，生成正常应答，同时设定模型信息泄漏程度；使用差分隐私技术生成噪声来扰动模型应答，生成带噪回复；监听模型收到的请求和给出的带噪回复，与训练数据集对比计算得出模型因接收到该次请求后导致的信息泄漏程度；计算模型信息泄漏程度计值；将信息泄漏程度代入隐私预算的适应性分配算法；将计算得到的新隐私预算输入给差分隐私技术。本发明能够根据模型信息泄漏程度自适应地调整所加噪声大小，保证模型安全性的同时提升了模型的性能。

技术领域

本发明属于网络安全技术领域，尤其涉及一种模型提取攻击的动态防御方 法、系统、介质、设备及应用。

背景技术

目前：随着人工智能技术的快速发展进步，越来越多的生产场景依赖于智 能模型的预测判断，因此随之出现了模型智能服务MLaaS (Machine-Learning-as-a-Service)，用户通过付费查询的形式即可将最先进的智能服 务应用于生产，包括数据分析、语言处理、安全检测等功能。此类智能服务通常 需要模型提供者提前在大量数据集上进行学习训练和参数优化，所使用的数据集 一般具有较强的专有性或涉及商业机密，所优化的模型对于隐私问题也非常敏 感，因此，MLaaS在带来生产便利的同时也放大了其中的隐私问题。模型提取攻 击能够成功攻击没有保护的机器学习模型，效果突出，适用范围非常广。该攻击 方式通过伪装成正常用户发送查询请求就能够有效推测出模型内部结构，成功窃 取走所部署的模型，从而避免了付费使用，甚至如果被窃取的模型是用来进行安 全检测的，如恶意软件、流量等的检测，则攻击者可以利用窃取到的模型参数来 逃避检测，造成更大的危害，因此智能模型带来的隐私安全问题日益突出，对于 所有未经保护的模型安全对于国家网络安全具有非常重要的作用。

目前针对该类型攻击的防御方案主要有两类型，一种是基于模型扰动的方 案，另一种是基于查询请求监控的方案。基于模型扰动的方案主要是在模型返 回结果时加入扰动，使得攻击者不能拿到准确的预测结果来推断出模型。目前 仅有的既能保证加入扰动后模型整体返回结果精度不降低太多，又能保护模型 不被窃取的技术主要是差分隐私技术，该技术通过严格的数学定义证明了其隐 私保护的有效性，同时提供了可控制的噪声和可评估的性能损失方法，是一种 非常适用于抵御模型提取攻击的防御技术，但是现有的基于差分隐私保护的方 案缺乏有效的隐私预算分配方式，在实际使用中保护效果非常有限，如固定隐 私预算的保护方式在开始阶段防御效果突出，但是随着攻击次数的增加，攻击 者可以凭借大数定律和统计等相关知识消除噪声的影响，获取到真实的结果， 最终导致该类方案防御效果会出现明显下滑，不足以保护模型。而基于请求监 控的方案主要是对模型收到的请求进行实时监控，当判断出模型通过查询泄漏 出的信息量达到预设范围时即停止提供预测服务，以此来保护模型。但是该方 案没有将查询与窃取信息关联分析，未能从根本上解决模型提取攻击存在的可 能性，其效果也非常受限于特定场景中的监控应用范围和反馈速度，如常用的 代理模型方案存在较大的检测延迟，当目标模型处于高速被查询状态下时，代 理模型的被提取程度并不能精确地反应目标模型的被攻击程度；除此之外在不同场景中如何设置相应的合理的查询阈值也是一个关键的问题，如现有的攻击 能够在达到简单模型的常规检测阈值前就完成窃取。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有的基于差分隐私保护的方案缺乏有效的隐私预算分配方式，在实 际使用中保护效果非常有限。

(2)现有技术没有将查询与窃取信息关联分析，未能从根本上解决模型提 取攻击存在的可能性，其效果也非常受限于特定场景中的监控应用范围和反馈 速度，除此之外在不同场景中如何设置相应的合理的查询阈值也是一个关键的 问题。