[发明专利]基于区块链的纵向联邦学习数据处理方法、装置及系统

说明书

本发明公开了一种基于区块链的纵向联邦学习数据处理方法、装置及系统，该方法包括：获取用于纵向联邦学习的本地全量数据样本，接收来自合作方的经过加密的合作方全量数据样本，各全量数据包括：数据标识；根据本地全量数据样本和合作方全量数据样本进行标识对齐操作，生成标识交集；接收来自合作方的经过加密的合作方模型训练中间结果，结合与标识交集相应的本地数据样本进行本地纵向联邦学习模型训练，得到训练完成的本地纵向联邦学习模型；将本地全量数据样本的哈希操作结果、合作方全量数据样本的数据标识、模型训练过程中本地数据样本的使用顺序、调度日志、合作方模型训练中间结果、本地纵向联邦学习模型的哈希操作结果上传至区块链。

技术领域

本发明涉及机器学习领域，具体涉及一种基于区块链的纵向联邦学习数据处理方法、装置及系统。

背景技术

联邦学习技术可以在保护数据隐私的前提下，建立一个基于分布式数据集的模型。然而，联邦学习技术的发展还不完全，其仍存在某些安全漏洞。在实际应用场景中，数据和模型是企业的核心资产和收益来源，其安全性与正确性至关重要。企业之间无法互信，则无法使用联邦学习技术。

联邦学习根据数据的分布类型，可分为横向联邦学习和纵向联邦学习。横向联邦学习也称按样本划分的联邦学习，应用于各个参与方的数据集有相同的特征空间和不同的样本空间的场景。纵向联邦也称按特征划分的联邦学习，应用于各个参与方的数据集具有相同的样本空间和不同的特征空间的场景。

目前，已有基于区块链的针对横向联邦学习的存证与审计方案。但是，横向联邦学习多用于toC(面向个人)场景，例如谷歌采用横向联邦学习的方式以解决安卓手机终端用户在本地更新模型的问题；或用于非结构化数据，例如使用图像和音频数据训练的模型。

但是，企业间的数据多以纵向形式分布，而目前没有针对纵向联邦学习的有效的存证和审计方案，这使得企业之间缺乏信任，企业无法进行纵向联邦学习建模。

发明内容

有鉴于此，本发明提供一种基于区块链的纵向联邦学习数据处理方法、装置及系统，以解决上述提及的至少一个问题。

根据本发明的第一方面，提供一种基于区块链的纵向联邦学习数据处理方法，所述方法包括：

获取用于纵向联邦学习的本地全量数据样本，并接收来自合作方的经过加密的合作方全量数据样本，其中，各全量数据包括：数据标识；

根据所述本地全量数据样本和所述合作方全量数据样本进行标识对齐操作，以生成标识交集；

接收来自合作方的经过加密的合作方模型训练中间结果，并根据该合作方模型训练中间结果、与所述标识交集相应的本地数据样本进行本地纵向联邦学习模型训练，以得到训练完成的本地纵向联邦学习模型；

将所述本地全量数据样本的哈希操作结果、所述经过加密的合作方全量数据样本的数据标识、模型训练过程中本地数据样本的使用顺序、调度日志、所述经过加密的合作方模型训练中间结果、以及训练完成的本地纵向联邦学习模型的哈希操作结果分别上传至区块链，以便于后期审计操作。

根据本发明的第二方面，提供一种基于区块链的纵向联邦学习数据处理装置，所述装置包括：

样本获取单元，用于获取用于纵向联邦学习的本地全量数据样本；

样本接收单元，用于接收来自合作方的经过加密的合作方全量数据样本，其中，各全量数据包括：数据标识；

对齐操作单元，用于根据所述本地全量数据样本和所述合作方全量数据样本进行标识对齐操作，以生成标识交集；

模型训练单元，用于接收来自合作方的经过加密的合作方模型训练中间结果，并根据该合作方模型训练中间结果、与所述标识交集相应的本地数据样本进行本地纵向联邦学习模型训练，以得到训练完成的本地纵向联邦学习模型；