[发明专利]一种模型隐私保护方法及装置

权利要求书

1.一种模型隐私保护方法，其特征在于，包括：

基于当前训练场景，确定用于对模型进行隐私保护的目标保护方式；

如果所述目标保护方式为PATE方式，则在使用训练数据集进行模型训练过程中，对中间产生的投票结果进行加噪处理，训练完成后，获得最终的待使用第一模型；

如果所述目标保护方式为差分隐私随机梯度下降DPSGD方式，则在使用所述训练数据集进行模型训练过程中，对将所述训练数据集输入到模型后计算得到的梯度进行加噪处理，训练完成后，获得最终的待使用第二模型。

2.根据权利要求1所述的方法，其特征在于，所述训练数据集包括隐私数据集和公共数据集，所述在使用训练数据集进行模型训练过程中，对中间产生的投票结果进行加噪处理，训练完成后，获得最终的待使用第一模型，包括：

将所述隐私数据集划分为不相交的N个隐私数据子集，N为正整数；

分别使用每个隐私数据子集进行机器学习模型的训练，获得N个教师模型；

利用所述N个教师模型对所述公共数据集中的每个数据进行类别预测，获得所述公共数据集中每个数据的各个类别的投票数；

对获得的投票数进行噪声聚合处理，确定每个数据的最终标签；

使用所述公共数据集中的数据和相应数据的最终标签，训练学生模型；

将训练完成的学生模型确定为最终的待使用第一模型。

3.根据权利要求2所述的方法，其特征在于，所述对获得的投票数进行噪声聚合处理，确定每个数据的最终标签，包括：

对所述公共数据集中每个数据各个类别的投票数进行加噪扰动处理；

基于加噪扰动处理后的各个类别的投票数，确定每个数据的最终标签。

4.根据权利要求3所述的方法，其特征在于，所述基于加噪扰动处理后的各个类别的投票数，确定每个数据的最终标签，包括：

针对每个数据，基于加噪扰动处理后的各个类别的投票数，确定该数据最大投票数的类别；

如果该最大投票数的类别的投票数大于预设的票数阈值，则将该数据最大投票数的类别确定为该数据的最终标签。

5.根据权利要求3所述的方法，其特征在于，所述隐私数据集中的数据具有历史标签，所述基于加噪扰动处理后的各个类别的投票数，确定每个数据的最终标签，包括：

基于加噪扰动处理后的各个类别的投票数，确定多个不同的判定阈值中每个判定阈值下每个数据的待用标签；

针对所述多个不同的判定阈值中每个判定阈值，基于该判定阈值下每个数据的待用标签与相应数据的历史标签，确定该判定阈值下的判定结果准确率；

将最高的判定结果准确率对应的判定阈值下每个数据的待用标签确定为相应数据的最终标签。

6.根据权利要求1所述的方法，其特征在于，所述在使用所述训练数据集进行模型训练过程中，对将所述训练数据集输入到模型后计算得到的梯度进行加噪处理，训练完成后，获得最终的待使用第二模型，包括：

在每一轮的每一批的迭代训练过程中，将对所述训练数据集进行采样得到的预设的批大小的数据输入到模型，计算梯度；

将计算得到的梯度进行裁剪处理，并添加噪声扰乱梯度，获得新梯度；

使用所述新梯度更新模型参数；

在进行多轮迭代训练之后，获得最终的待使用第二模型。

7.根据权利要求6所述的方法，其特征在于，还包括：

在迭代训练过程中，确定首轮训练后的模型准确率；

如果所述首轮训练后的模型准确率不低于预设的准确率阈值，则继续进行迭代训练；

如果所述首轮训练后的模型准确率低于所述准确率阈值，则重新进行网络初始化并重新进行迭代训练。

8.根据权利要求7所述的方法，其特征在于，所述准确率阈值为通过以下步骤确定：

在正式进行迭代训练之前，进行多次预测试，每次预测试执行M轮训练，M为正整数；

确定每次预测试每轮训练后的模型准确率；

基于确定的每次预测试每轮训练后的模型准确率，确定准确率阈值。