[发明专利]基于差分隐私的数据生成系统的训练方法及装置

说明书

本说明书实施例提供一种基于差分隐私的数据生成系统的训练方法和装置，该数据生成系统包括自编码网络和判别器，方法包括，将真实样本输入自编码网络，得到复原样本；根据真实样本和复原样本的比对，确定样本重构损失。此外，通过自编码网络生成合成样本。将真实样本和合成样本分别输入判别器，得到其分别属于真实样本的第一概率和第二概率。针对判别器，以减小第一损失为目标，以差分隐私的方式在梯度上添加噪声，以调整判别器参数，其中第一损失负相关于第一概率，正相关于第二概率。针对自编码网络，以减小第二损失为目标，在梯度上添加噪声，以调整自编码网络参数，其中第二损失与样本重构损失正相关，与第一损失负相关。

本申请为2020年5月6日提交的申请号为202010373419.7，名为“基于差分隐私的数据生成系统的训练方法及装置”的发明专利申请的分案申请。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及通过计算机执行的基于差分隐私的数据生成系统的训练方法和装置。

背景技术

随着计算机技术的发展，存在大量自动进行数据合成的需求。例如，在图片识别的场景下，需要自动生成或合成大量图片，以进行机器学习；在例如智能客服的场景下，需要自动生成对话文本。在一种情况下，在展示基于用户样本数据的研究结果时，出于保护用户隐私的目的，则需要合成一些模拟用户样本数据替代真实用户数据进行展示。在其他情况下，还可能需要自动生成诸如音频等其他格式的合成数据。

为此，试图通过机器学习的方式，训练得到一些生成模型来自动进行数据生成。例如，在一种方式中，训练一个生成对抗网络(GAN，Generative Adversarial Networks)，利用其中的生成模型来进行数据合成。然而，常规的GAN训练方式，一方面生成模型的生成效果有待进一步提高，另一方面，容易受到攻击，难以保证数据的隐私安全。

因此，希望能有改进的方案，能够得到更为安全、更为有效的数据生成系统。

发明内容

本说明书一个或多个实施例描述了一种基于差分隐私的数据生成系统的训练方法，用以得到保护隐私且更为有效的数据生成系统。

根据第一方面，提供了一种基于差分隐私的数据生成系统的训练方法，所述数据生成系统包括自编码网络和判别器，所述方法包括：

将第一真实样本输入所述自编码网络，得到第一复原样本；

根据所述第一真实样本和所述第一复原样本的比对，确定样本重构损失；

通过所述自编码网络生成第一合成样本；

将第一真实样本输入所述判别器，得到其属于真实样本的第一概率；以及，将所述第一合成样本输入所述判别器，得到其属于真实样本的第二概率；

针对所述判别器对应的第一参数，利用差分隐私的方式，在以减小第一预测损失为目标得到的梯度上添加噪声，根据得到的第一噪声梯度调整所述第一参数，其中所述第一预测损失负相关于所述第一概率，正相关于所述第二概率；

针对所述自编码网络对应的第二参数，利用差分隐私的方式，在以减小第二预测损失为目标得到的梯度上添加噪声，根据得到的第二噪声梯度调整所述第二参数，其中所述第二预测损失与所述样本重构损失正相关，与所述第一概率正相关，且与所述第二概率负相关。

根据一种实施方式，自编码网络包括编码器，生成器和解码器；在这样的情况下，将第一真实样本输入所述自编码网络，得到第一复原样本，具体包括：将所述第一真实样本对应的第一原始向量输入所述编码器，得到降维到第一表征空间的第一特征向量；将所述第一特征向量输入所述解码器，得到所述第一复原样本；通过所述自编码网络生成第一合成样本，具体包括：通过所述生成器生成在所述第一表征空间中的第二特征向量；将所述第二特征向量输入所述解码器，得到所述第一合成数据。