[发明专利]一种基于少量公共数据的隐私模型训练方法及装置

说明书

本发明提供一种基于少量公共数据的隐私模型训练方法及电子装置，包括：使用若干训练得到N个神经网络教师模型；将少量的公共数据x_i分别输入N个神经网络教师模型，得到各公共数据x_i对各标签k的统计投票结果；对各统计投票结果添加噪声，获取满足差分隐私原理的公共数据x_i及相应标签；通过大量的随机噪声向量与一预训练判别神经网络，优化对抗生成网络，并生成大量无标注数据；通过满足差分隐私原理的公共数据x_i及相应标签、大量无标注数据对预训练的自编码器联合训练学生模型，得到隐私学生模型。本发明只需少量公共数据即可训练一个隐私学生模型，实现对敏感数据的物理隔离和网络隔离，解决了隐私学生模型的精确度不高这一问题。

技术领域

本发明属于互联网领域，具体而言，涉及一种基于差分隐私、半监督学习、教师学生知识聚合的神经网络模型隐私保护训练方法和装置。

背景技术

近些年，深度学习技术在许多的领域取得了令人震惊的突破性进展，比如在计算机视觉、自然语言处理、强化学习等领域，同时，深度学习技术的发展也离不开大量的训练数据，当前许多极其有力的应用都使用大量敏感的数据进行训练模型，例如，使用大量患者的医疗数据进行训练医疗诊断系统、利用大量用户金融数据进行金融风险控制等。

虽然深度学习工具能极大的便利工业生产生活，但是近年来的研究表明，深度学习模型容易受到黑客的攻击，攻击者常常通过不断的查询目标模型来分析数据，进一步地推断出模型训练时记住地敏感数据来窃取相关的隐私数据。

针对以上问题，现有的解决方法都将差分隐私引入模型的训练当中，以防止敏感数据被窃取，具体的有以下几种方法:

一、采用差分隐私随机梯度下降算法(DP-SGD)和自适应的Laplace机制(AdLM)等差分隐私深度学习算法，给模型在训练过程中的梯度加上较大的噪声，以满足差分隐私保护机制，难以满足训练优化的灵活性和模型的准确性。

二、基于差分隐私的对抗生成网络，在训练生成器的过程中引入噪声，训练一个满足差分隐私的生成器，相对于不加噪声训练的生成器，隐私生成器模型的准确性往往有较大的牺牲。

三、基于差分隐私的联邦学习，联邦学习可以使多个用户之间无需进行数据交换就能实现跨用户协同训练AI模型，联邦学习在传输梯度数据过程中易受到攻击，攻击者可推理出训练的隐私数据，将高斯噪声加入用户端模型训练过程中，避免梯度参数直接暴露在传输过程中，训练的过程灵活性不强，模型的准确性不高。

上述现有技术的缺陷主要是：1.模型复杂度高，训练困难；2.模型准确度不佳。3.模型安全性差。

发明内容

本发明提供了一种基于少量公共数据的隐私模型训练方法及装置，以解决神经网络模型采用敏感数据训练隐私被攻击者窃取的问题。

本发明的技术方案为：

一种基于少量公共数据的隐私模型训练方法，其步骤包括：

1)使用若干包含N个部分敏感数据的样本数据，训练得到N个神经网络教师模型，N≥1；

2)将少量的公共数据x_i分别输入N个神经网络教师模型，并对各神经网络教师模型输出结果进行统计投票，得到各公共数据x_i对各标签B_k的统计投票结果，i为公共数据的序号，k为标签类别；

3)对各统计投票结果添加噪声，获取满足差分隐私原理的公共数据x_i及相应标签；

4)通过大量的随机噪声向量与一预训练判别神经网络，优化一对抗生成网络，并生成大量无标注数据1≤m≤M，M为优化对抗生成网络的次数，p为大量无标注数据的序号；