[发明专利]基于差分隐私的深度强化学习模型安全加固方法及装置

说明书

本发明公开了一种基于差分隐私的深度强化学习模型安全加固方法及装置，其中包括一种基于差分隐私的深度强化学习模型安全加固方法，包括如下步骤：从环境中采样数据作为待训练样本集，利用深度强化学习算法构建目标模型，将待训练样本集输入到目标模型中对目标模型进行训练；对训练好的目标模型进行测试，并采样状态动作作为窃取数据集；利用深度强化学习算法构建窃取模型；将窃取数据集作为训练样本输入到窃取模型中并利用模仿学习算法训练窃取模型；将差分隐私保护机制添加到训练好的目标模型中，将目标模型在差分隐私机制的作用下输出的数据输入到窃取模型中；窃取模型在有差分隐私机制作用的数据的影响下作出错误的攻击动作。

技术领域

本发明涉及数据安全领域，特别涉及一种基于差分隐私的深度强化学习模型安全加固方法及装置。

背景技术

随着人工智能的飞速发展，将深度学习的感知能力和强化学习的决策能力相结合的深度强化学习算法被广泛应用在自动驾驶、自动翻译、游戏AI等领域中。

但是近期研究表明，深度强化学习模型容易受到不同类型的恶意攻击，深度强化学习算法存在的安全漏洞是的深度强化学习系统的完整性、可用性和机密性受到极大的威胁，随着人工智能与生产生活的联系日益紧密，人们对解决人工智能应用安全问题的需求日渐迫切。

现有的提高深度学习模型安全性的方法如公开号为CN110968866A的中国专利申请公开的一种面向深度强化学习模型对抗攻击的防御方法；所述防御方法包括以下步骤：利用基于生成式对抗网络构建的视觉预测模型对输入的前一时刻环境状态进行预测输出预测当前环境状态，并获得预测当前环境状态在深度强化学习策略下的下一帧预测环境状态值；获取深度强化学习模型输出的实际当前环境状态，并获得实际当前环境状态在深度强化学习策略下添加扰动的环境状态值；利用基于生成式对抗网络构建的判别模型对预测环境状态值和添加扰动的环境状态值进行判别，根据判别结果获得深度强化学习模型是否被攻击；在深度强化学习模型被攻击时，提取实际当前环境状态，利用基于SqueezeNet的第一防御模型对实际当前环境状态进行第一层防御，利用基于DenseNet的第二防御模型对第一层防御结果进行第二层防御，获得防御后的实际当前环境状态；深度强化学习模型利用防御后的实际当前环境状态进行学习预测输出。

上述专利申请提供的面向深度强化学习模型对抗攻击的防御方法利用视觉预测模型和判别器及外加防御模型对强化学习模型进行防御，此种方法是利用强化学习进行防御而不是对深度强化学习模型进行安全加固。

发明内容

为解决现有技术中存在的问题，本发明提供一种于差分隐私的深度强化学习模型安全加固方法及装置，实现了在不改变模型输出动作的前提下，最大程度模糊深度模型的输出分布，大大降低模型窃取攻击的水平，从而防止攻击者利用动作空间分布窃取原模型的目的。

一种基于差分隐私的深度强化学习模型安全加固方法，所述方法包括如下步骤：

从环境中采样数据作为待训练样本集，利用深度强化学习算法构建目标模型，将待训练样本集输入到目标模型中对目标模型进行训练；

对训练好的目标模型进行测试，并采样状态动作作为窃取数据集；

利用深度强化学习算法构建窃取模型，所述窃取模型用于模拟攻击目标模型的攻击动作；

将窃取数据集作为训练样本输入到窃取模型中并利用模仿学习算法训练窃取模型；

将差分隐私保护机制添加到训练好的目标模型中，将目标模型在差分隐私机制的作用下输出的数据输入到窃取模型中；

窃取模型在有差分隐私机制作用的数据的影响下作出错误的攻击动作。

对目标模型的训练包括如下步骤：

使用经验回放机制，在线收集并处理得到在线样本集；

将在线样本集和待训练样本集储存到回放记忆单元中形成转移样本；