[发明专利]一种基于少量公共数据的隐私模型训练方法及装置

权利要求书

1.一种基于少量公共数据的隐私模型训练方法，其步骤包括：

1)使用若干包含N个部分敏感数据的样本数据，训练得到N个神经网络教师模型，N≥1；

2)将少量的公共数据x_i分别输入N个神经网络教师模型，并对各神经网络教师模型输出结果进行统计投票，得到各公共数据x_i对各标签B_k的统计投票结果，i为公共数据的序号，k为标签类别；

3)对各统计投票结果添加噪声，获取满足差分隐私原理的公共数据x_i及相应标签；

4)通过大量的随机噪声向量与一预训练判别神经网络，优化一对抗生成网络，并生成大量无标注数据1≤m≤M，M为优化对抗生成网络的次数，p为大量无标注数据的序号；

5)通过满足差分隐私原理的公共数据x_i及相应标签、大量无标注数据以及预训练的自编码器联合训练学生模型，得到隐私学生模型。

2.如权利要求1所述的方法，其特征在于，所述神经网络教师模型的结构包括：卷积神经网络结构、循环神经网络结构或LSTM结构。

3.如权利要求1所述的方法，其特征在于，训练神经网络教师模型的方法包括：SGD、Momentum、Adagrad或Adam。

4.如权利要求1所述的方法，其特征在于，所述噪声包括：高斯噪声或拉普拉斯噪声。

5.如权利要求4所述的方法，其特征在于，通过以下步骤获取满足差分隐私原理的公共数据x_i的相应标签：

1)在一公共数据x_i对各标签B_k的统计投票结果中，选取数值最大投票结果；

2)在数值最大投票结果上加入高斯分布第一标准差参数σ₁，并与一设定门限值比较；

3)若不小于所述设定门限值，则对各标签B_k的投票结果上加入高斯分布噪声并将数值最大投票结果相应的标签B_k作为满足差分隐私原理的公共数据x_i的相应标签，其中，σ₂为高斯分布第二标准差参数。

6.如权利要求1所述的方法，其特征在于，优化对抗生成网络的损失函数L_G＝αL_h+βL_a+γL_f，其中信息熵损失函数H_info()为数据类别k生成概率的信息熵表示，为预训练判别神经网络对生成网络输出x^i′的预测结果，x^i′通过将随机噪声向量z^i′输入对抗生成网络得到，1≤i′≤b，b为随机噪声向量的数量，激活损失函数为预训练判别网络全连接层之前的输出，独热编码损失函数t为预训练判别神经网络的预测标签，H_cross()为交叉熵损失函数，α、β、γ为对抗生成网络的超参数。

7.如权利要求1所述的方法，其特征在于，预训练的自编码器包括：预训练VAE模型。

8.如权利要求1所述的方法，其特征在于，对学生模型训练时，损失函数L_N＝l_sup+θ₁L_t+θ₂L_n+θ₃L_e，其中，θ₁、θ₂、θ₃为调节的超参数，监督损失函数l_sup为隐私学生模型针对满足差分隐私原理公共数据x_i的监督交叉熵损失函数，L_t为无标注数据的潜在数据流形的切向空间损失函数，L_n为无标注数据的潜在数据流形的法向空间损失函数，L_e为交叉熵正则损失函数。