[发明专利]在联邦学习中移除非规则用户的隐私保护方法有效

专利信息
申请号: 202111588461.1 申请日: 2021-12-23
公开(公告)号: CN114239070B 公开(公告)日: 2023-07-21
发明(设计)人: 李洪伟;徐婕妤;曾加;郝猛;汤殿华;张希琳;杨浩淼;任彦之;刘鹏飞;张源 申请(专利权)人: 电子科技大学
主分类号: G06F21/62 分类号: G06F21/62;G06F21/60;G06N20/20
代理公司: 电子科技大学专利中心 51203 代理人: 邓黎
地址: 611731 四川省成*** 国省代码: 四川;51
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 联邦 学习 除非 规则 用户 隐私 保护 方法
【说明书】:

发明公开了一种在联邦学习中移除非规则用户的隐私保护方法,属于信息安全技术领域。本发明包括不规则用户删除算法Trustsubgt;IU/subgt;和保护用户的敏感信息的加权聚合协议两个部分;Trustsubgt;IU/subgt;利用余弦相似度进行聚合,减少了不规则用户的负面影响,从而确保全局模型主要来源于高质量的数据;在Trustsubgt;IU/subgt;的基础上,本发明采用安全加权的定制密码协议聚合;此聚合方案通过使用双隐蔽隐私保护技术,确保了服务器只学习用户的梯度信息,而不会泄露其他隐私。本发明在具有良好的训练精度和效率的同时,对整个培训过程中对用户退出具有鲁棒性。

技术领域

本发明属于信息安全技术领域,具体涉及一种在联邦学习中移除非规则用户的隐私保护方法。

技术背景

联邦学习FL(Federated learning)已经被广泛应用于语音自动识别、自动驾驶、智能医疗等各个领域。在FL中,多个用户通过交换局部计算更新来协作训练全局预测模型,而不泄露他们的私有数据集。

尽管目前存在许多保护隐私的FL协议,这我们经常忽略FL中存在威胁模型可用性的不规则用户。例如,在现实的应用中,不同的用户(包括资源有限的物联网设备和强大的云服务器)可能具有不同的收集训练样本的能力,即强大的用户通常持有高质量的数据,而其他用户(称为不规则用户)可能获得低质量的数据。在训练过程中,这些不规则用户持有低质量的数据,可能会降低收敛速度,甚至损害模型的可用性。

因此,设计一种来消除不规则用户在负面影响的方案是有必要的。据我们所知,只有少数作品同时考虑了隐私和不规则用户问题。然而,这些方案存在以下不足:1)复杂的密码算法增大了通信和计算开销;2)无法准确排除不规则用户的影响。同时这两个问题存在矛盾,即保护隐私的FL方法旨在混淆梯度,而删除不规则用户则需要访问梯度进行统计分析。

发明内容

本发明提出了一种在联邦学习中移除非规则用户的隐私保护方法,在保护用户隐私的同时,消除了非规则用户的负面影响。此外,本发明解决移除非规则用户过程中所有用户必须一直保持在线状态的问题,容忍用户在计算过程中有意或无意的退出。

本发明采用的技术方案如下:

一种在联邦学习中移除非规则用户的隐私保护方法,具体包括以下步骤:

1)密钥生成:每个用户i利用Diffie-Hellman生成技术密钥对,用作伪随机生成器的种子值,并将其公钥信息发送给云服务器;云服务器检测在线用户列表,将当前用户列表和收到的公钥信息发送给用户i的全体邻居用户;

2)生成用户参数:用户根据自己与上一轮全局梯度间的余弦距离更新个人权重,利用Shamir方法和Diffie-Hellman方法分别生成种子的子秘密和加密私钥的交换密钥,并对所有子秘密进行加密,最后将加密结果发送给云服务器;云服务器检测在线用户列表,并将收到的加密结果转发给用户i的全体邻居用户;

3)数据加密:用户首先利用Diffie-Hellman方法生成种子,接着把该种子应用在双掩码方法中对用户的梯度信息及权重信息进行加密,并将加密后数据发送给云服务器;云服务器检测在线用户列表,并将当前用户列表发送给用户i的全体邻居用户;

4)解密并计算全局梯度:用户收到云服务器发送的在线用户列表,并发送掉线用户的子秘密给云服务器。云服务器利用Shamir方法重构掉线用户参数,并用该技术对加密后数据进行解密处理,最后将收到的加密数据进行聚合运算,得到新一轮的全局梯度。

本发明具有如下特点:

1)用户和云服务器使用本发明提供的不规则用户删除算法TrustIU计算用户数据权重,实现更加准确及高效的聚合。即,用户根据服务器发送的全局梯度计算自己的权重,权重与局部模型梯度与服务器模型梯度之间的余弦距离有关。服务器根据用户权重判断用户是否为非规则用户,并消除他们的负面影响。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于电子科技大学,未经电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202111588461.1/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top