[发明专利]保护神经网络模型安全的方法及装置

说明书

本说明书实施例提供一种保护神经网络模型安全的方法，包括：获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；针对其中任意的第一网络层，在固定其他网络层参数的情况下，利用上述训练数据对该第一网络层进行第一调参，得到第一微调模型；确定该第一微调模型对应预设性能指标的第一指标值，该预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在上述训练数据上的训练损失之间的相对大小；同理，利用训练数据和测试数据对该第一网络层进行第二调参，得到第二微调模型，并确定第二指标值；基于第一指标值和第二指标值的相对大小，确定第一网络层对应的信息敏感度，在其大于预定阈值的情况下，对第一网络层进行安全处理。

本申请是分案申请，其基于在2020年11月16日提出的发明名称为“保 护神经网络模型安全的方法及装置”，申请号为：202011280172.0的专利申 请而提出。

技术领域

本说明书实施例涉及数据安全技术领域，尤其涉及一种保护神经网络模 型安全的方法及装置。

背景技术

目前，利用大量数据训练神经网络，使得神经网络具有良好的预测效果， 是业界的经典做法。神经网络会记住数据的特点，从而在预测时给出准确的 预测结果。但是，当训练数据是用户个人信息等敏感或隐私数据时，训练出 的神经网络携带大量敏感、隐私信息，如果直接将模型全部曝光，很容易被 攻击者或者灰产通过模型攻击，窃取模型中携带的敏感信息。

因此，需要一种方案，可以在保证模型预测性能的同时，实现对神经网 络模型安全的保护，以防止敏感隐私信息的泄露。

发明内容

在本说明书描述的保护神经网络模型安全的方法及装置中，通过对训练 好的模型中每一层携带的敏感信息进行测算，然后对携带较多敏感信息的网 络层进行安全处理，可以提升预测效率、保证预测性能，并实现隐私保护。

根据第一方面，提供一种保护神经网络模型安全的方法，包括：获取神 经网络模型，其中包括利用训练数据训练得到的多个网络层；针对所述多个 网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用所述训 练数据对所述第一网络层进行第一调参，得到与所述神经网络模型对应的第 一微调模型；确定所述第一微调模型对应预设性能指标的第一指标值，所述 预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在所述 训练数据上的训练损失之间的相对大小；在固定所述其他网络层参数的情况下，利用所述训练数据和测试数据对所述第一网络层进行第二调参，得到与 所述神经网络模型对应的第二微调模型；确定所述第二微调模型对应所述预 设性能指标的第二指标值；基于所述第一指标值和所述第二指标值的相对大 小，确定所述第一网络层对应的信息敏感度；在所述信息敏感度大于预定阈 值的情况下，对所述第一网络层进行安全处理。

在一个实施例中，确定所述第一微调模型对应预设性能指标的第一指标 值，包括：确定所述第一微调模型在所述测试数据上的第一测试损失；确定 所述第一微调模型在所述训练数据上的第一训练损失；基于所述第一测试损 失和第一训练损失的差值，确定所述第一指标值。

在一个实施例中，确定所述第一网络层对应的信息敏感度，包括：确定 所述第一指标值和第二指标值的差值；将所述差值与所述第一指标值之间比 值的绝对值，确定为所述信息敏感度；或，将所述差值与所述第二指标值之 间比值的绝对值，确定为所述信息敏感度。

在一个实施例中，对所述第一网络层进行安全处理，包括：将所述第一 网络层部署到可信执行环境TEE。

在一个具体的实施例中，在将所述第一网络层部署到可信执行环境TEE 之后，所述方法还包括：响应于对所述神经网络模型的使用请求，获取待预 测的目标样本；通过在所述第一网络层针对所述目标样本输出的原始数据中， 添加用于实现差分隐私的噪声，得到所述第一网络层的最终输出数据，用于 确定所述目标样本的预测结果。

在一个实施例中，对第一网络层进行安全处理，包括：在所述第一网络 层的网络参数中添加用于实现差分隐私的噪声，得到最终使用的网络参数。