[发明专利]基于联邦学习的模型训练方法、装置、系统、设备和介质

说明书

本发明实施例涉及一种基于联邦学习的模型训练方法、装置、系统、设备和介质，具体涉及机器学习技术领域，方法包括：基于联邦学习的模型训练方法，其特征在于，由各私有云端服务器执行，包括：获取本地数据，将所获取的本地数据经过本地模型识别后，根据识别结果生成样本集共享给公有云端服务器，以使所述公有云端服务器采用所述样本集对联合模型进行训练并共享所述联合模型，其中所述样本集的数据量小于所述本地数据的数据量；下载所述联合模型，用所下载的联合模型替换本地模型。本发明实施例的技术方案能够在避免大量工业数据泄露的同时，保证了模型训练的效果。

技术领域

本发明实施例涉及机器学习技术领域，具体涉及一种基于联邦学习的模型训练方法、装置、系统、电子设备、及存储介质。

背景技术

当前，工业企业纷纷加入工智能浪潮，但人工智能技术在工业场景落地效果不佳，其问题主要在于人工智能技术需要大量优质数据来提高智能水平。但从目前来看，绝大多数企业都存在数据量少、数据质量差的问题，不足以支撑人工智能技术的实现；同时国内外监管环境逐步加强数据保护，数据在安全合规的前提下自由流动是大势所趋；企业所拥有的数据往往都有巨大的潜在价值。

一方面，若两个企业甚至企业间的部门都不会提供各自数据共享，导致即使在同一个企业内，数据也往往以孤岛的形式出现。

另一方面，若各参与方都上传全部数据，将所有数据聚合训练得到虚拟模型，再反馈至各参与方共享最优模型，则需要各参与方上传所有数据，这会使占用的带宽较大，通信开销过大。

发明内容

有鉴于此，本发明实施例提供一种基于联邦学习的模型训练方法、装置、电子设备、及存储介质，以避免大量工业数据泄露的同时，保证了模型训练的效果。

本发明实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明实施例的实践而习得。

在本公开的第一方面，本发明实施例提供了一种基于联邦学习的模型训练方法，由各私有云端服务器执行，包括：

获取本地数据，将所获取的本地数据经过本地模型识别后，根据识别结果生成样本集共享给公有云端服务器，以使所述公有云端服务器采用所述样本集对联合模型进行训练并共享所述联合模型，其中所述样本集的数据量小于所述本地数据的数据量；

下载所述联合模型，用所下载的联合模型替换本地模型。

于一实施例中，根据识别结果生成样本集共享给公有云端服务器包括：

根据本地模型不能识别的数据生成样本集共享给公有云端服务器；和/或

根据本地模型识别错误的数据生成样本集共享给公有云端服务器。

于一实施例中，在获取本地数据之后还包括：基于所述本地数据对本地模型进行训练，将训练后的本地模型算法参数发送给公有云端服务器，以使所述公有云端服务器验证是否需要采用所接收的所述算法参数更新联合模型算法参数。

于一实施例中，所述公有云端服务器验证是否需要采用所接收的所述算法参数更新联合模型算法参数包括：

采用先验数据集计算联合模型的效果指标得到第一指标值；

将联合模型算法参数替换为所接收的所述本地模型算法参数后，采用所述先验数据集计算替换算法参数后的联合模型的效果指标得到第二指标值；

根据所述第一指标值和所述第二指标值的大小确定是否需要采用所接收的所述本地模型算法参数更新联合模型。

于一实施例中，所述效果指标包括准确率和/或召回率。

于一实施例中，根据识别结果生成样本集共享给公有云端服务器包括：

根据识别结果生成样本集，将所述样本集加密后上链存储到区块链中共享给公有云端服务器。