[发明专利]保护神经网络模型安全的方法及装置

权利要求书

1.一种保护神经网络模型安全的方法，包括：

获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；

针对所述多个网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用所述训练数据对所述第一网络层进行第一调参，得到与所述神经网络模型对应的第一微调模型；

确定所述第一微调模型对应预设性能指标的第一指标值，所述预设性能指标的指标值取决于对应模型在测试数据上的测试损失和在所述训练数据上的训练损失之间的相对大小；

在固定所述其他网络层参数的情况下，利用所述训练数据和测试数据对所述第一网络层进行第二调参，得到与所述神经网络模型对应的第二微调模型；

确定所述第二微调模型对应所述预设性能指标的第二指标值；

基于所述第一指标值和所述第二指标值的相对大小，确定所述第一网络层对应的信息敏感度；

在所述信息敏感度大于预定阈值的情况下，对所述第一网络层进行安全处理。

2.根据权利要求1所述的方法，其中，确定所述第一微调模型对应预设性能指标的第一指标值，包括：

确定所述第一微调模型在所述测试数据上的第一测试损失；

确定所述第一微调模型在所述训练数据上的第一训练损失；

基于所述第一测试损失和第一训练损失的差值，确定所述第一指标值。

3.根据权利要求1所述的方法，其中，确定所述第一网络层对应的信息敏感度，包括：

确定所述第一指标值和第二指标值的差值；

将所述差值与所述第一指标值之间比值的绝对值，确定为所述信息敏感度；或，将所述差值与所述第二指标值之间比值的绝对值，确定为所述信息敏感度。

4.根据权利要求1所述的方法，其中，对所述第一网络层进行安全处理，包括：

将所述第一网络层部署到可信执行环境TEE。

5.根据权利要求4所述的方法，其中，在将所述第一网络层部署到可信执行环境TEE之后，所述方法还包括：

响应于对所述神经网络模型的使用请求，获取待预测的目标样本；

通过在所述第一网络层针对所述目标样本输出的原始数据中，添加用于实现差分隐私的噪声，得到所述第一网络层的最终输出数据，用于确定所述目标样本的预测结果。

6.根据权利要求1所述的方法，其中，对所述第一网络层进行安全处理，包括：

在所述第一网络层的网络参数中添加用于实现差分隐私的噪声，得到最终使用的网络参数。

7.根据权利要求1所述的方法，其中，对所述第一网络层进行安全处理，包括：

将经过所述第二调参的第一网络层部署到可信执行环境TEE。

8.一种保护神经网络模型安全的装置，包括：

模型获取单元，配置为获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；

第一调参单元，配置为针对所述多个网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用所述训练数据对所述第一网络层进行第一调参，得到与所述神经网络模型对应的第一微调模型；

第一值确定单元，配置为确定所述第一微调模型对应预设性能指标的第一指标值，所述预设性能指标的指标值取决于对应模型在测试数据上的测试损失和在所述训练数据上的训练损失之间的相对大小；

第二调参单元，配置为在固定所述其他网络层参数的情况下，利用所述训练数据和测试数据对所述第一网络层进行第二调参，得到与所述神经网络模型对应的第二微调模型；

第二值确定单元，配置为确定所述第二微调模型对应所述预设性能指标的第二指标值；

敏感度确定单元，配置为基于所述第一指标值和所述第二指标值的相对大小，确定所述第一网络层对应的信息敏感度；

安全处理单元，配置为在所述信息敏感度大于预定阈值的情况下，对所述第一网络层进行安全处理。