[发明专利]一种面向联邦学习的分布式存储方法、装置、设备及介质

说明书

本申请公开一种面向联邦学习的分布式存储方法、装置、设备及介质，所述方法包括：接收任务发布者在智能合约上发布的训练任务；在通过所述智能合约获取初始模型后，联邦学习节点利用本地数据对所述初始模型进行训练得到局部模型，并确定局部模型的哈希值；联邦学习节点将局部模型的哈希值以及局部模型存放至分布式存储系统，并将局部模型的哈希值交易至所述智能合约；在通过PoA共识机制中投票选举的方式确定本轮训练的权威节点后，权威节点根据所述智能合约中本轮局部模型的哈希值来查找所述分布式存储系统中存放的局部模型；权威节点将局部模型进行聚合后得到全局模型。本申请能降低共识过程中各节点的算力消耗和区块链的存储压力。

技术领域

本申请涉及区块链和联邦学习技术领域，特别涉及一种面向联邦学习的分布式存储方法、装置、设备及介质。

背景技术

随着人工智能的迅速发展与广泛应用，神经网络模型的规模日益增大，普通的硬件设备已难以支持大规模的神经网络训练。因此，作为一种分布式的机器学习框架，联邦学习被提出用于横向拓展模型训练的规模，并且克服数据孤岛的问题。但是，传统的联邦学习存在单点服务器失效、中心化服务器参数隐私泄露以及模型容易受到中毒攻击的问题。一方面，当单点服务器受到恶意攻击或者发生宕机现象时，数据和模型的安全、隐私会受到威胁。另一方面，训练的模型容易受到客户端的恶意篡改，导致模型的训练效率会受到极大的影响。

为了解决上述问题，常见的方法通过将区块链技术与联邦学习架构结合起来，以区块链共识技术来代替传统联邦学习的中心聚合，实现去中心化的联邦学习。

区块链技术是一种全新的分布式架构与计算范式，部署在计算机系统上。区块链系统中可以通过部署智能合约，满足不同的业务需求。智能合约是一段运行在区块链上的程序代码，节点可以通过发送交易的方式与智能合约交互。在联邦学习的业务场景中，任务发布者可以在智能合约上声明训练任务的具体信息，并通过发布合约的方式启动训练任务。

目前，大多数基于区块链的联邦学习系统使用的是基于PoW(工作量证明)的共识机制，在每一轮共识中，先下发数学任务，为了获得记账权和区块奖励，区块链节点会通过不断枚举和尝试的方式来解决数学任务，导致在区块链共识过程中耗费大量算力。

发明内容

本申请提供了一种面向联邦学习的分布式存储方法、装置、设备及介质，不仅能够降低共识过程中的节点算力的消耗，还能减缓区块链的存储压力。

为了实现上述目的，本申请采用如下技术方案：

第一方面，本申请提供了一种面向联邦学习的分布式存储方法，包括：

S1、接收任务发布者在智能合约上发布的训练任务，其中，所述智能合约部署在区块链上；

S2、在通过所述智能合约获取初始模型后，联邦学习节点利用本地数据对所述初始模型进行训练得到局部模型，并确定局部模型的哈希值；

S3、联邦学习节点将局部模型的哈希值以及局部模型存放至分布式存储系统，并将局部模型的哈希值交易至所述智能合约，其中，局部模型的哈希值与局部模型是一种键与值的关系；

S4、各普通节点在通过PoA共识机制中投票选举的方式确定本轮训练的权威节点后，权威节点根据所述智能合约中本轮局部模型的哈希值来查找所述分布式存储系统中存放的局部模型；

S5、权威节点将查找到的局部模型进行聚合后得到本轮训练的全局模型，并在确定全局模型的哈希值之后，将全局模型的哈希值以及全局模型存放至分布式存储系统中。