[发明专利]基于神经网络的联邦建模方法、设备及可读存储介质有效
申请号: | 201810913868.9 | 申请日: | 2018-08-10 |
公开(公告)号: | CN109325584B | 公开(公告)日: | 2021-06-25 |
发明(设计)人: | 刘洋;陈天健;范涛;成柯葳;杨强 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 胡海国;魏兰 |
地址: | 518052 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 神经网络 联邦 建模 方法 设备 可读 存储 介质 | ||
1.一种基于神经网络的联邦建模方法,其特征在于,所述基于神经网络的联邦建模方法包括以下步骤:
第一终端将已标注的第一样本数据输入待训练模型的第一神经网络进行迭代,并对经迭代后所述第一神经网络的第一输出进行同态加密;
接收第二终端发送的经同态加密后的第二输出,其中,所述第二终端将第二样本数据输入待训练模型的第二神经网络进行迭代,并将经迭代后所述第二神经网络的第二输出进行同态加密后传输至所述第一终端;
依据经同态加密后的第一输出和第二输出,计算加密的损失值和梯度值,并将加密的损失值和梯度值传输至第三终端;
由所述第三终端对加密的损失值和梯度值进行解密之后,依据解密后的损失值判断所述待训练模型是否收敛,若所述待训练模型收敛,则结束训练,得到待训练模型。
2.如权利要求1所述的基于神经网络的联邦建模方法,其特征在于,所述第三终端对加密的损失值和梯度值进行解密之后,依据解密后的损失值判断所述待训练模型是否收敛的步骤包括:
所述第三终端在接收到所述第一终端发送的加密的损失值时,获取所述第一终端前一次发送的历史损失值;
依据预存的私有密钥对加密的损失值和历史损失值进行解密,并依据解密后的损失值和历史损失值判断所述待训练模型是否收敛。
3.如权利要求2所述的基于神经网络的联邦建模方法,其特征在于,所述依据解密后的损失值和历史损失值判断所述待训练模型是否收敛的步骤包括:
计算解密后的损失值与历史损失值之间的差值,并判断所述差值是否小于或等于预设阈值;
若所述差值小于或等于预设阈值,则确定所述待训练模型收敛,否则确定所述待训练模型未收敛。
4.如权利要求1所述的基于神经网络的联邦建模方法,其特征在于,所述第三终端对加密的损失值和梯度值进行解密之后,依据解密后的损失值判断所述待训练模型是否收敛的步骤之后,还包括:
若所述待训练模型未收敛,则所述第三终端将所述待训练模型的目标函数对于所述第一输出的梯度解密之后,返回给所述第一终端;
由所述第一终端依据所述第三终端解密返回的所述待训练模型的目标函数对于所述第一输出的梯度,反向传播调整所述第一神经网络的本地梯度;
所述第三终端将所述待训练模型的目标函数对于所述第二输出的梯度解密之后,返回给所述第二终端;
由所述第二终端依据所述第三终端解密返回的所述待训练模型的目标函数对于所述第二输出的梯度,反向传播调整所述第二神经网络的本地梯度。
5.如权利要求4所述的基于神经网络的联邦建模方法,其特征在于,由所述第一终端依据第三终端解密返回的所述待训练模型的目标函数对于所述第一输出的梯度,反向传播调整所述第一神经网络的本地梯度的步骤包括:
所述第一终端对所述待训练模型的梯度函数进行多项式拟合处理;
接收所述第三终端解密返回的所述待训练模型的目标函数对于所述第一输出的梯度;
依据经多项式拟合处理的梯度函数和所述待训练模型的目标函数对于所述第一输出的梯度,反向传播调整所述第一神经网络的本地梯度。
6.如权利要求1-5中任一项所述的基于神经网络的联邦建模方法,其特征在于,所述对经迭代后所述第一神经网络的第一输出进行同态加密的步骤包括:
接收所述第三终端发送的公有密钥,并将所述公有密钥存储至预设区域;
依据所述预设区域中的公有密钥对经迭代后所述第一神经网络的第一输出进行同态加密。
7.如权利要求1-5中任一项所述的基于神经网络的联邦建模方法,其特征在于,所述基于神经网络的联邦建模方法还包括:
当检测到初始权值的配置指令时,统计所述第一神经网络中的突触个数,并调用预设随机数生成器,生成与所述突触个数对应的一组随机数;
依据生成的一组随机数,配置所述第一神经网络中各突触的初始权值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810913868.9/1.html,转载请声明来源钻瓜专利网。