[发明专利]数据处理方法、装置和存储介质

说明书

本公开提出一种数据处理方法、装置和存储介质，涉及机器学习技术领域。本公开的一种数据处理方法，包括：根据联邦学习的成员集合中所有成员的训练数据，获取第一联合建模模型；根据第一联合建模模型和测试数据集合，获取第一价值评估量；针对每个成员：根据成员集合中除当前的成员的训练数据以外的数据，获取第二联合建模模型；根据第二联合建模模型和测试数据集合，获取第二价值评估量；根据第一价值评估量和第二价值评估量，确定当前的成员的边际价值评估量；根据各个成员的边际价值评估量确定待剔除的成员。通过这样的方法，能够提高联邦学习中多方合作的成员的可靠度，进而便于实现提升模型的准确度。

技术领域

本公开涉及机器学习技术领域，特别是一种数据处理方法、装置和存储介质。

背景技术

联邦学习概念最早于2016年由Google提出，当时Google为了充分利用海量移动设备(例如手机、平板电脑、相机等)用户所产生的大量私人数据而设计了联邦学习框架。该方法在充分利用海量数据提升模型效果的同时，因不需传输用户私人数据，有效克服了数据隐私问题。

国内联邦学习技术研究最早由微众银行开展，并分别于2018年9月和2020年4月发表了《联邦学习白皮书》V1.0和V2.0版，成功将联邦学习概念由最初的解决数据隐私问题拓展到解决跨机构的数据孤岛问题，让行业看到了该技术极大的应用前景。根据数据和任务特点，联邦学习有三种模式：纵向联邦学习(Vertical Federated Learning)、横向联邦学习(Horizontal Federated Learning)与联邦迁移学习(Federated Transfer Learning)。

由于联邦学习能够从技术的角度保证各方数据安全，同时可实现联合建模，因此极大促进了多方数据合作的发展。

发明内容

本公开的一个目的在于提高联邦学习中参与成员的可靠度。

根据本公开的一些实施例的一个方面，提出一种数据处理方法，包括：根据联邦学习的成员集合中所有成员的训练数据，基于联邦学习算法生成并训练模型，获取第一联合建模模型；根据第一联合建模模型和测试数据集合，获取第一联合建模模型的价值评估量，作为第一价值评估量；

针对每个成员：

根据成员集合中除当前的成员的训练数据以外的数据，基于联邦学习算法生成并训练模型，获取第二联合建模模型；

根据第二联合建模模型和测试数据集合，获取第二联合建模模型的价值评估量，作为第二价值评估量；

根据第一价值评估量和第二价值评估量，确定当前的成员的边际价值评估量；

根据各个成员的边际价值评估量确定待剔除的成员。

在一些实施例中，根据各个成员的边际价值评估量确定待剔除的成员包括：判断是否存在边际价值评估量小于预定阈值的成员；在存在边际价值评估量小于预定阈值的成员的情况下，确定待剔除的成员。

在一些实施例中，数据处理方法还包括：通过在成员集合中剔除待剔除的成员更新成员集合。

在一些实施例中，数据处理方法还包括：根据更新后的成员集合，执行获取第一联合建模模型的操作，并更新更新后的成员集合中每个成员的边际价值评估量；判断更新后的成员集合中是否存在边际价值评估量小于预定阈值的成员；在存在边际价值评估量小于预定阈值的成员的情况下，确定待剔除的成员，执行通过剔除待剔除的成员更新成员集合的操作，并更新更新后的成员集合中每个成员的边际价值评估量，直至不存在边际价值评估量小于预定阈值的成员；在不存在边际价值评估量小于预定阈值的成员的情况下，确定成员集合中的成员为稳定成员。

在一些实施例中，数据处理方法还包括：根据稳定成员的边际价值评估量确定稳定成员的权重，其中，稳定成员的权重与对应的边际价值评估量正相关。