[发明专利]基于差分隐私的数据生成系统的训练方法及装置

权利要求书

1.一种基于差分隐私的数据生成系统的训练方法，所述数据生成系统包括自编码网络和判别器，所述方法包括：

将第一真实样本输入所述自编码网络，得到第一复原样本；

根据所述第一真实样本和所述第一复原样本的比对，确定样本重构损失；

通过所述自编码网络基于噪声生成第一合成样本；

将第一真实样本输入所述判别器，得到其属于真实样本的第一概率；以及，将所述第一合成样本输入所述判别器，得到其属于真实样本的第二概率；

针对所述判别器对应的第一参数，利用差分隐私的方式，在以减小第一预测损失为目标得到的梯度上添加噪声，根据得到的第一噪声梯度调整所述第一参数，其中所述第一预测损失负相关于所述第一概率，正相关于所述第二概率；

针对所述自编码网络对应的第二参数，利用差分隐私的方式，在以减小第二预测损失为目标得到的梯度上添加噪声，根据得到的第二噪声梯度调整所述第二参数，其中所述第二预测损失与所述样本重构损失正相关，与所述第一概率正相关，且与所述第二概率负相关。

2.根据权利要求1所述的方法，其中，所述自编码网络包括编码器，生成器和解码器；

所述编码器实现为第一多层感知机，其各层神经元数目逐层递减；所述解码器实现为第二多层感知机，其各层神经元数目逐层递增。

3.根据权利要求1所述的方法，其中，确定样本重构损失，包括：

确定所述第一真实样本对应的第一原始向量和所述第一复原样本对应的第一复原向量之间的向量距离；

将所述样本重构损失确定为，正相关于所述向量距离。

4.根据权利要求1所述的方法，其中，在以减小第一预测损失为目标得到的梯度上添加噪声，根据得到的第一噪声梯度调整所述第一参数，包括：

针对所述第一参数，确定使得所述第一预测损失减小的第一原始梯度；

基于预设的第一裁剪阈值，对所述第一原始梯度进行裁剪，得到第一裁剪梯度；

利用基于所述第一裁剪阈值确定的第一高斯分布，确定用于实现差分隐私的第一高斯噪声；

将所述第一高斯噪声与所述第一裁剪梯度叠加，得到所述第一噪声梯度。

5.根据权利要求1所述的方法，其中，在以减小第二预测损失为目标得到的梯度上添加噪声，根据得到的第二噪声梯度调整所述第二参数，包括：

针对所述第二参数，确定使得所述第二预测损失减小的第二原始梯度；

基于预设的第二裁剪阈值，对所述第二原始梯度进行裁剪，得到第二裁剪梯度；

利用基于所述第二裁剪阈值确定的第二高斯分布，确定用于实现差分隐私的第二高斯噪声；

将所述第二高斯噪声与所述第二裁剪梯度叠加，得到所述第二噪声梯度。

6.根据权利要求2所述的方法，其中，所述第二参数包括，编码器参数，生成器参数和解码器参数；在以减小第二预测损失为目标得到的梯度上添加噪声，根据得到的第二噪声梯度调整所述第二参数，包括：

通过梯度反向传播，分别确定对应于所述解码器参数的第三原始梯度，对应于所述编码器参数的第四原始梯度，和对应于所述生成器参数的第五原始梯度；

利用差分隐私的方式，在所述第三原始梯度、第四原始梯度和第五原始梯度中分别添加噪声，得到对应的第三噪声梯度、第四噪声梯度和第五噪声梯度；

利用所述第三噪声梯度，调整所述解码器参数；利用所述第四噪声梯度，调整所述编码器参数；利用所述第五噪声梯度，调整所述生成器参数。

7.根据权利要求2所述的方法，其中，所述第二参数包括，编码器参数，生成器参数和解码器参数；在以减小第二预测损失为目标得到的梯度上添加噪声，根据得到的第二噪声梯度调整所述第二参数，包括：

通过梯度反向传播，分别确定对应于所述解码器参数的第三原始梯度，对应于所述编码器参数的第四原始梯度，和对应于所述生成器参数的第五原始梯度；

利用差分隐私的方式，在所述第三原始梯度中添加噪声，得到对应的第三噪声梯度；

利用所述第三噪声梯度，调整所述解码器参数；利用所述第四原始梯度，调整所述编码器参数；利用所述第五原始梯度，调整所述生成器参数。