[发明专利]联邦学习中基于反向拍卖的隐私保护激励机制训练方法

说明书

本发明针对现有技术的局限性，提出了一种联邦学习中基于反向拍卖的隐私保护激励机制训练方法，该方法不会发送提取器给中央服务器，仅使用生成器来拟合提取器的输出，使得联邦学习参与者上传给中央服务器的模型不直接由原始数据训练而成，因此中央服务器不能够反推出原始数据，从而保护了数据隐私；另外，本发明以反向拍卖的方式对联邦学习参与者激励，能够满足训练过程中的个人理性、真实性和预算可行性。

技术领域

本发明涉及人工智能领域；具体地，涉及联邦学习技术；更具体的，涉及一种联邦学习中基于反向拍卖的隐私保护激励机制训练方法。

背景技术

联邦学习的概念最先由谷歌提出并引用到智能软件GBoard，目的是在安卓智能手机的虚拟键盘中预测下一单词，其基本思路是在每个用户的智能手机中部署一个递归神经网络语言模型，在模型的每轮训练中用户将基于本地数据集的模型梯度发送给服务器，从而避免上传用户的敏感数据。而联邦学习要真正落地应用所面临的两个最大问题是：

激励机制。现今联邦学习的工作大多集中在设计更高性能的算法上，激励机制的缺乏严重阻碍了联邦学习的广泛应用，如果没有公平合理的奖励分配和激励机制，仅依靠中心服务器的任务调度机制来强制安排联邦学习参与者的分工，那么以自我利益为中心的参与者将缺乏积极参与联邦学习的动力，很可能会滥竽充数地上传一些低质量或毫无意义的模型梯度。现在的激励机制包括：①从联邦学习参与者的历史交互记录中构建声誉模型，将声誉与合同理论相结合。②通过影响因子函数来衡量样本重要性以分配奖励。

隐私保护。公开日为2021.05.25的中国发明申请：一种基于联邦学习的上下文感知推荐系统及方法，通过将联邦学习技术应用在推荐系统中，并且在推荐系统中结合了上下文信息，以期实现在保护用户隐私的同时也拥有较高的推荐准确率。尽管联邦学习框架对用户隐私提供了一定的保障，但是服务器仍然可能会从参与者暴露的模型结构和模型梯度间接推断出原始数据，从而导致隐私信息泄漏，现有的联邦学习方法主要使用三种技术手段来解决：①安全多方计算(SMC)，但是容易受到共谋推断攻击；②差分隐私(DP)，但是降低模型性能；③同态加密(HE)，但是加解密过程非常消耗时间和算力。因此，现有技术仍有一定的局限性。

发明内容

针对现有技术的局限，本发明提出一种联邦学习中基于反向拍卖的隐私保护激励机制训练方法及系统，本发明采用的技术方案是：

一种联邦学习中基于反向拍卖的隐私保护激励机制训练方法，对于包含全局分类器的中央服务器与若干包含提取器、分类器、判别器以及生成器的联邦学习参与者，在各轮联邦学习中：

所述联邦学习参与者不会向所述中央服务器发送提取器，而是使用各自的生成器拟合提取器的输出，供所述中央服务器进行训练；

所述中央服务器根据各联邦学习参与者提供的投标价以及生成器，结合反向拍卖的方式对各联邦学习参与者的分类器进行筛选；通过对筛选结果进行融合，更新全局分类器。

相较于现有技术，本发明不会发送提取器给中央服务器，仅使用生成器来拟合提取器的输出，使得联邦学习参与者上传给中央服务器的模型不直接由原始数据训练而成，因此中央服务器不能够反推出原始数据，从而保护了数据隐私；另外，本发明以反向拍卖的方式对联邦学习参与者激励，能够满足训练过程中的个人理性、真实性和预算可行性。

作为一种优选方案，在各轮联邦学习中，所述联邦学习参与者分别从所述中央服务器接收全局分类器更新替换本地的分类器后，以训练数据x以及类标签y，通过以下步骤进行提取器以及分类器的训练：

S11，将所述训练数据x输入到所述提取器中，获得真实特征f_real；

S12，将所述真实特征f_real输入到所述分类器中，获得预测类标签y_pred；