[发明专利]一种基于隐私保护技术的联合深度学习训练方法

摘要

本发明属于人工智能技术领域，涉及一种基于隐私保护技术的联合深度学习训练方法。本发明实现了一种基于隐私保护技术的高效联合深度学习训练方法。本发明中，各个参与方首先在私有数据集上训练本地模型获得本地梯度，再将本地梯度进行拉普拉斯噪音扰动，并加密后发送至云服务器；云服务器将接收到的所有本地梯度与上一轮的密文参数进行聚合操作，并广播产生的密文参数；最终，参与方解密接收到密文参数，并更新本地模型从而进行后续的训练。本发明结合同态加密方案和差分隐私技术，提出了安全高效的深度学习训练方法，保证训练模型的精确性，同时防止服务器推断模型参数和训练数据隐私以及内部攻击获取私密信息。

主权项

1.一种基于隐私保护技术的联合深度学习训练方法，其特征在于，包括以下步骤：S1、系统初始化：系统生成安全参数λ，并为所有参与方分配相同的对称密钥sk＝(p,q)，同时公开参数N＝pq；云服务器初始化全局训练模型以及模型参数ω₀和学习速率η；S2、预处理：云服务器广播初始化的模型参数ω₀；参与方1加密ω₀并将密文参数E(ω₀)返回至云服务器，使得云服务器在训练过程中始终持有最新模型参数的密文；S3、训练本地数据：参与方下载全局神经网络模型，并利用私有数据集在本地进行训练；在第t次训练时，参与方μ选择一个小批量数据集训练模型，并根据定义好的损失函数计算训练误差，从而计算本地梯度G_t,μ；S4、梯度加密：加密过程分为两个步骤，首先利用拉普拉斯机制对梯度G_t,μ添加噪音产生然后根据同态加密机制加密被扰动的梯度产生密文梯度C_t,μ；参与方将密文梯度C_t,μ发送至云服务器；S5、安全聚合：云服务器首先聚合接收到的所有密文梯度产生C_t,add，再根据上一轮密文参数E(ω_t)产生新的密文参数E(ω_t+1)；云服务器向所有参与方广播新一轮密文参数E(ω_t+1)；S6、参数解密：任意参与方对密文参数E(ω_t+1)进行模p和模q操作，再利用中国剩余定理解密密文参数；用最新的参数更新本地模型，从而进行后续的模型训练。