[发明专利]联邦学习中数据的处理方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种联邦学习中数据的处理方法及装置，该方法包括：获取链下数据和链上数据，所述链下数据为各终端上传到分布式数据库上的源数据，所述链上数据为各终端参与联邦学习过程建模得到的存储在区块链上的中间参数；根据所述链下数据和所述链上数据进行联邦学习过程，更新已建联邦学习模型；其中，联邦学习过程在可信环境下进行。本发明实施例提供的联邦学习中数据的处理方法、装置、电子设备及存储介质，通过安全存储在分布式数据库中的源数据和存储在区块链上完成共享的中间参数，使得各终端的数据能够实现安全共享，便于两类数据能够安全的协同及共享，为联邦学习训练产生积极效益。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种联邦学习中数据的处理方法、装置、电子设备及存储介质。

背景技术

联邦学习是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与终端或多计算节点终端之间开展高效率的机器学习。联邦学习的基本思路是终端的数据不共享，各终端分别训练机器学习模型，然后共享学习过程中的中间参数，由服务器聚合后，反馈到各终端，再分别共享各自训练的模型。

为此，为了解决各终端的数据不共享，需保障联邦学习中的数据存储安全和数据传输安全，但目前未存储较好方案，故对联邦学习训练不能产生积极作用。

发明内容

针对现有技术存在的问题，本发明实施例提供一种联邦学习中数据的处理方法、装置、电子设备及存储介质。

第一方面，本发明实施例提供的一种联邦学习中数据的处理方法，包括：

获取链下数据和链上数据，所述链下数据为各终端上传到分布式数据库上的源数据，所述链上数据为各终端参与联邦学习过程建模得到的存储在区块链上的中间参数；

根据所述链下数据和所述链上数据进行联邦学习过程，更新已建联邦学习模型；其中，联邦学习过程在可信环境下进行。

进一步地，所述源数据为采用非对称加密算法存储在分布式DHT列表中。

进一步地，所述中间参数的上链处理过程包括：

对中间参数加密并封装为交易数据，对所述交易数据进行聚合划分，将划分后的交易数据存储在对应的区块中。

进一步地，在更新已建联邦学习模型后，还包括：

使更新后的联邦学习模型和非联邦学习模型应用于预设的应用场景中进行预测，确定预测结果，根据各自的预测结果进行比较，获得比较结果。

进一步地，在获取链下数据之前，还包括：

对源数据进行质量检测，根据检测结果；

若检测结果为正常，使源数据加密存储，并向对应的终端发送Token数据；若检测结果为异常，放弃源数据，并向对应的终端发送放弃执行信号。

进一步地，所述可信环境为采用Intel SGX架构所建立，相应地，所述源数据由可信环境从分布式DHT列表中读取。

进一步地，在Fabric联盟链上对交易数据进行聚合划分。

第二方面，本发明实施例提供一种联邦学习中数据的处理装置，包括：

获取模块，用于获取链下数据和链上数据，所述链下数据为各终端上传到分布式数据库上的源数据，所述链上数据为各终端参与联邦学习过程建模得到的存储在区块链上的中间参数；

处理模块，用于根据所述链下数据和所述链上数据进行联邦学习过程，更新已建联邦学习模型；其中，联邦学习过程在可信环境下进行。