[发明专利]基于后门水印的深度学习模型加密方法和装置

说明书

本发明公开了一种基于后门水印的深度学习模型加密方法和装置，获取正常样本，利用正常样本训练深度学习模型，统计训练好的深度学习模型每个神经元的激活值，并从中选择处在激活临界的若干个神经元作密码神经元并记录；根据记录固定密码神经元的激活值不变，利用正常样本对深度学习模型再训练；利用扰乱样本对深度学习模型再训练，以优化所有神经元的激活值，实现对深度学习模型的加密。基于后门水印改变样本的决策边界，使得训练好的深度学习模型只有在特定的触发器条件下才能正常工作，达到一个对深度学习模型加密的效果。

技术领域

本发明属于面向深度学习模型的加密领域，具体涉及一种基于后门水印的深度学习模型加密方法和装置

背景技术

机器学习技术在过去的几年中取得了巨大的发展与成就，其中深度神经网络是最先进的人工智能服务的重要组成部分，在视觉分析、语音识别和自然语言处理等各种任务中表现出超越人类的水平。它们极大地改变了构思软件的方式，并很快成为一种通用技术，更重要的是，它明显优于以前在这些领域使用的最先进的机器学习算法。

虽然深度神经网络在各个领域取得了显著的进展，但训练深度学习模型，尤其是将训练好的深度学习投入商业使用仍然是一项不可忽视的任务。为此需要(1)能够完全覆盖潜在场景的大规模标记训练数据集。(2)大量的计算能力，特别高性能的设备如GPU、TPU等。(3)长期训练更新神经网络的参数。(4)相应的领域专业知识和工程知识来设计网络结构和选择超参数。因此，建立一个训练有素的模型需要投入非常大的成本。在这种环境下，模型即代表了商业价值，必须对其进行保密，防止模型被推理窃取。

推理攻击最早是由逆向工程线性复原垃圾邮件演变而来，最近的推理研究成果显示，即便不知道受害者的体系结构也不知道训练数据分布，也能在复杂模型上达到良好效果。推理攻击者使用专门制作的样本反复查询目标模型，以通过模型返回的预测最大限度地提取关于模型内部的信息。攻击者利用这些信息逐渐训练出一个替代模型。替代模型本身可用于构建未来的查询，其响应用于进一步细化替代模型。对手的目标有两点：一是使用替代模型来获得未来的预测，绕过原始模型，从而剥夺其所有者的业务优势，二是构建可转移的敌对示例，以后可以用来欺骗原始模型做出不正确的预测。

与推理攻击蓬勃发展相反的是，针对于此的推理防御却鲜有人关注，也很缺乏。现有的防御策略旨在检测窃取查询模式，或者通过扰动降低预测后验的质量，但这并没有关注到背后的实质：推理窃取者想要利用模型的商业价值。若通过加密手段使得被窃取的模型失去商业价值，这样一来窃取攻击便失去了价值，从而达到保护深度学习模型的目的。

发明内容

鉴于上述，本发明的目的是提供一种基于后门水印的深度学习模型加密方法和装置，基于后门水印改变样本的决策边界，使得训练好的深度学习模型只有在特定的触发器条件下才能正常工作，达到一个对深度学习模型加密的效果。

第一方面，实施例提供的一种基于后门水印的深度学习模型加密方法，包括以下步骤：

获取正常样本，利用正常样本训练深度学习模型，统计训练好的深度学习模型每个神经元的激活值，并从中选择处在激活临界的若干个神经元作密码神经元并记录；

根据记录固定密码神经元的激活值不变，利用正常样本对深度学习模型再训练；利用扰乱样本对深度学习模型再训练，以优化所有神经元的激活值，实现对深度学习模型的加密，其中，将正常样本的标签做翻转得到扰乱样本。

优选地，所述统计训练好的深度学习模型每个神经元的激活值，并从中选择处在激活临界的若干个神经元作密码神经元包括：

统计训练好的深度学习模型每个神经元的激活值，并对所有神经元的激活值进行排序，依据排序结果选取处在激活临界的神经元组成密码池，从密码池中随机选择指定数量的神经元作为密码神经元。

优选地，针对由ReLU激活函数激活的神经元，采用以下公式来搜索处在激活临界的神经元：