[发明专利]安全的分布式联邦深度学习方法在审
申请号: | 202010996487.9 | 申请日: | 2020-09-21 |
公开(公告)号: | CN112232527A | 公开(公告)日: | 2021-01-15 |
发明(设计)人: | 黄小红;李丹丹;刘国智;钱叶魁;闪德胜;丛群;杨瑞朋;黄浩;夏军波;雒朝峰;李建华 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | G06N20/20 | 分类号: | G06N20/20 |
代理公司: | 北京风雅颂专利代理有限公司 11403 | 代理人: | 李翔 |
地址: | 100876 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 安全 分布式 联邦 深度 学习方法 | ||
1.一种安全的分布式联邦深度学习方法,包括:
所有参与方加入到区块链中;
选择一个所述参与方作为学习组织者,并使所述学习组织者生成初始模型和初始参数,分发给各个所述参与方;
将所述参与方依照智能合约划分为聚合节点和普通节点,使用分布式联邦深度学习方法进行所述初始模型的训练,在训练结束时得到符合要求的模型;
其中,第一轮训练中,所述普通节点对接收到的所述初始模型进行训练;后续训练中,所述普通节点对接收到的全局模型进行训练;所述全局模型为前一轮训练中,所述聚合节点根据全部所述普通节点发送的训练结果聚合后得到的。
2.根据权利要求1所述的方法,其特征在于,所述后续训练中,所述普通节点对接收到的全局模型进行训练之前,还包括:
所述普通节点对接收到的所述全局模型进行效果评估,若效果达到预期,则训练结束并得到所述符合要求的模型。
3.根据权利要求2所述的方法,其特征在于,所述使用分布式联邦深度学习方法进行所述初始模型的训练,具体包括:
训练轮数达到设定的阈值,且当前所述普通节点接收到的所述全局模型的效果仍未达到预期时,则将所述参与方重新划分为新普通节点和新聚合节点,并将所述全局模型传送至所述新普通节点进行训练。
4.根据权利要求1所述的方法,其特征在于,所述区块链为基于联盟链的超级账本;
所述超级账本包含有公共数据集、第一私有数据集和第二私有数据集;
所述公共数据集对所有所述参与方开放读写,所述第一私有数据集仅对所述普通节点开放读写,所述第二私有数据集仅对所述聚合节点开放读写。
5.根据权利要求4所述的方法,其特征在于:
所述普通节点通过协商得到同态加密公私钥,用于对所述训练结果加密和对所述全局模型解密;
所述聚合节点生成聚合链码,所述聚合节点依照聚合链码对所述训练结果进行聚合,得到所述全局模型。
6.根据权利要求5所述的方法,其特征在于,所述初始模型传送至所述普通节点,所述普通节点和所述聚合节点之间的所述训练结果和所述全局模型的传送不通过区块链进行;
所述普通节点使用每个所述普通节点的本地数据对接收到的所述初始模型或所述全局模型进行训练;
所述普通节点使用所述同态加密公钥对所述训练结果进行加密,将加密结果发送给所述聚合节点,所述聚合节点对所述加密结果进行聚合,得到的所述全局模型也是经过同态加密的加密模型;
所述普通节点使用对应的所述同态加密私钥对所述全局模型进行解密,使用所述解密操作得到的解密模型进行效果评估,判断是否终止训练。
7.根据权利要求6所述的方法,其特征在于:
所述第一私有数据集存放有所述同态加密公私钥,所述第二私有数据集存放有所述聚合节点接收到的所述训练结果、聚合得到的所述全局模型和所述聚合链码;
所述公共数据集存放有所述初始模型和所述初始参数、所述第一私有数据集和所述第二私有数据集内数据的哈希值;
所述第二私有数据集内存放的所述训练结果和所述全局模型保存有限轮后随着所述普通节点和所述聚合节点的轮换删除,所述公共数据集存放的所述哈希值一直保留。
8.一种实现安全的分布式联邦深度学习方法的装置,包括:
模型初始化模块,负责生成所述初始模型和所述初始参数,将所述初始模型和所述初始参数分发;
节点划分模块,负责将所述参与方划分为所述普通节点和所述聚合节点;
模型训练模块,负责对所述初始模型进行训练直到所述全局模型效果达到预期要求,输出所述符合要求的模型。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
10.根据权利要求1至9任意一项所述的安全的分布式联邦深度学习方法、实现装置和电子设备能够用于异常流量识别模型的训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010996487.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种用于灯光控制的协议转换系统及方法
- 下一篇:一种绘画作品悬挂装置