[发明专利]一种基于同态加密的联邦学习隐私保护方法

说明书

本发明公开了一种基于同态加密的联邦学习隐私保护方法，包括如下步骤：(1)客户端加密；(2)客户端数据保存；(3)客户端运行局部神经网络；(4)训练本地数据；(5)梯度加密；(6)安全聚合；(7)参数解密。本发明属于计算机技术领域，具体是一种基于同态加密的联邦学习隐私保护方法，结合了同态加密和差分隐私技术，提出了针对联邦学习的隐私保护方法，保证训练模型的准确性，同时防止服务器获取隐私数据及其他客户端的推断攻击。

技术领域

本发明属于计算机技术领域，具体是指一种基于同态加密的联邦学习隐私保护方法。

背景技术

联邦学习(Federated Learning)允许各个客户端在不公开本地数据集的情况下共同训练深度学习模型。各个客户端在本地数据集上训练模型。相比于集中式机器学习，联邦学习不需要收集用户的数据，具有更强的安全性，并且客户端拥有训练完成的模型，可以在本地进行预测。

差分隐私(Differential Privacy)是一种数据扰动方案，数据中添加噪声，或者使用泛化方法对某些敏感属性进行模糊处理，直到第三方无法区分个体，从而使数据无法恢复，保护用户隐私。

同态加密(Homomorphic Encryption)是一种加密方案，它允许好像未加密一样对加密数据进行计算。通过同态加密可以在整个计算过程中保留结构。数据通过网络发送，在异地服务器上进行处理。这种技术在许实际应用中具有巨大潜力，例如云平台下的电子诊疗系统，电子投票系统以及银行等。

目前已经有一些公司采用安全多方计算、差分隐私技术或同态加密方案保护联邦学习的数据隐私的方法，针对不同场景有大量的研究，但在应用同态加密过程中，如果客户端的数量较少，有可能会面临推断攻击，而在应用差分隐私过程中，如果加过多的噪音，虽然安全性增加，但会导致联邦学习的效果下降，准确率会变差；而加的噪音少了，效果虽然变好了，安全性却又大为降低。

发明内容

针对上述情况，为克服现有技术的缺陷，本发明提供一种基于同态加密的联邦学习隐私保护方法，结合了同态加密和差分隐私技术，提出了针对联邦学习的隐私保护方法，保证训练模型的准确性，同时防止服务器获取隐私数据及其他客户端的推断攻击。

本发明采取的技术方案如下：本发明一种基于同态加密的联邦学习隐私保护方法，包括如下步骤：

1)参与学习的客户端共同建立了一个同态加密方案的公钥pk和密钥sk，密钥sk对服务器保密，但所有参与学习的客户端都知道；

2)参与学习的客户端在本地保存他们的数据集，并运行基于深度学习的神经网络的副本；

3)客户端运行局部神经网络的初始(随机)权值G_global，由客户端1初始化，客户端1加密G_global并将密文E(G_global)发送至服务器，使得服务器在训练过程中始终持有最新的模型参数密文；

4)训练本地数据：客户端下载全局神经网络模型，并利用自己数据集在本地进行训练；并根据定义好的损失函数计算训练误差，从而计算本地梯度G；

5)梯度加密：加密过程分为两个步骤，首先利用差分隐私随机梯度下降对梯度添加噪音G_μ，然后根据同态加密机制加密被扰动的梯度产生密文梯度客户端将密文梯度发送至服务器；

6)安全聚合：服务器首先聚合接收到的所有密文梯度产生再进行平均，产生新的密文参数服务器向所有客户端广播新一轮密文参数

7)参数解密：任意客户端对密文参数进行解密操作；用最新的参数更新本地模型，从而进行后续的模型训练。