[发明专利]一种基于超网络和区块链的个性化联邦学习方法及设备

说明书

本发明提供了一种基于超网络和区块链的个性化联邦学习方法及设备，方法包括：接收联邦中心节点初始化的超模型；初始化节点标识向量,通过区块链网络获取本节点的标签加密向量；输入到超模型,生成本地模型；利用本地数据集训练本地模型,得到训练后的梯度变化，并获取超模型的梯度变化，发送到联邦中心节点并对所有的梯度变化量进行平均,将运用梯度下降的方式更新到超模型中；接收更新后的超模型,重复上述步骤；联邦边缘计算节点获得与自己匹配的个性化层参数,并将获得的个性化层参数融入到本地模型的个性化层中。使用本发明中的方法进行联邦学习，使模型的准确率和持续学习性能大幅提高，并可以提高各联邦边缘节点参与训练的可信性。

技术领域

本发明属于联邦学习方法领域，特别涉及一种基于超网络和区块链的个性化联邦学习方法及设备。

背景技术

联邦学习(Federated Learning,FL)是一种分布式神经网络训练的方法,它使多个终端协作训练一个共享的神经网络模型,同时保证训练数据存在于终端上。联邦学习过程中，存在模型针对边缘节点个性化能力不足的问题，遇到新标签时预测性能大幅下降。同时，联邦学习中，模型在网络传递过程中容易遭到攻击，被窃取者盗取模型，进而造成数据泄露。并且在联邦学习过程中，各节点对其他节点的信任不足，不愿意提供数据进行训练模型共享。

发明内容

为解决上述背景技术中存在的问题，本发明第一方面提供了一种基于超网络和区块链的个性化联邦学习方法，所述方法应用于联邦中心节点和K个联邦边缘计算节点的场景中，每个边缘计算节点均与联邦中心节点进行相连，所述方法包括如下步骤：

步骤1，联邦边缘计算节点接收联邦中心节点初始化的超模型HNet，开始联邦学习过程；

步骤2，联邦边缘计算节点初始化节点标识向量V，通过区块链网络获取本节点的标签加密向量；

步骤3，联邦边缘计算节点将节点标识向量与标签加密向量输入到由联邦中心节点下发的超模型，生成本地模型LocalNet；

步骤4，联邦边缘计算节点利用本地数据集D，训练本地模型LocalNet，得到训练后的梯度变化Δθ；

步骤5，联邦边缘计算节点根据本地模型的梯度变化Δθ，计算超模型的梯度变化Δφ，并将梯度变化发送到联邦中心节点；

步骤6，联邦边缘计算节点将超模型的梯度变化Δφ发送到联邦中心节点，联邦中心节点对所有的梯度变化量进行平均，并将平均后的超模型梯度变化量，运用梯度下降的方式更新到超模型HNet中；

步骤7，联邦边缘计算节点接收联邦中心节点所发送的更新后的超模型，重复步骤2到步骤6，直到达到指定轮次；

步骤8，联邦边缘计算节点，使用步骤7最终生成的超模型生成各节点模型，评估Fisher信息矩阵，并通过区块链智能合约提交自己的Fisher信息矩阵，评估模型价值，最后获得与自己匹配的个性化层参数，并将获得的个性化层参数融入到本地模型的个性化层中。

优选的，所述步骤2中通过区块链的网络获取本节点的标签加密向量，所述加密向量在训练前通过区块链网络获得，并包括如下过程：

S21，在区块链中使用SIBFT共识算法，将共识网络划分成多个子网，并在各个子网分别选举出子网领导者节点SLL和子网候选者领导者节点SCL；

S22，使用智能合约中接收标签函数接收来自节点的标签向量Label vector，子网领导者节点SLL对节点是否含有该标签的数据进行验证，确保信息的真实性；

S23，经验证后，智能合约中加密标签函数使用RSA加密算法生成公钥，使用公钥将Label vector进行非对称加密,并下发到拥有该Label的联邦边缘计算节点。

优选的，所述步骤3中生成本地模型LocalNet的具体过程为：