[发明专利]基于联邦蒸馏的联邦学习模型的训练方法、系统和介质

说明书

本发明公开了一种基于联邦蒸馏的联邦学习模型的训练方法、系统和介质，可应用于模型处理技术领域。本发明方法包括：客户端采用联邦学习算法和本地私有数据集训练并更新本地模型，采用公共数据集和更新后的本地模型预测局部归一化层的第一输出向量，并向服务器上传第一输出向量对应的局部平均输出向量；服务器对所有局部平均输出向量进行全局共识操作并确定全局平均输出向量，向所有客户端下发所述全局平均输出向量；客户端在公共数据集上，采用全局平均输出向量和更新后的本地模型进行知识蒸馏，并在本地私有数据集上训练回调本地模型。本发明能使通信成本只取决于模型输出，不会随模型大小倍数增加，从而有效提高通讯的稳定性和减少延迟。

技术领域

本发明涉及教育大数据和模型处理技术领域，尤其是一种基于联邦蒸馏的联邦学习模型的训练方法、系统和介质。

背景技术

随着互联网及人工智能(AI)的快速发展，用户无时无刻不在使用无数移动设备来产生大量数据，久而久之，数据是爆炸且呈指数增长的，例如，容量巨大且类型冗余的教育大数据。众所周知，机器学习(Machine Leaming，简称ML)等人工智能技术在科学研究和商业决策中的成功应用正得益于大数据的驱动，具有高表征能力的数据可以帮助我们构建更复杂、更准确的ML模型。但是，日常生活中的数据往往以数据孤岛形式存在，数据难以聚合和存储。数据孤岛成为机器学习的一大挑战之一。最典型的就是目前海量碎片化存在于各地区学校、培训机构的教育资源数据。加上通用数据保护条例(GDPR)的发表及限制，数据隐私保护成为机器学习的又一大瓶颈。在这种情况下，学者们开始将注意力从数据聚合转向模型聚合。联邦学习(Federated Leaming，简称FL)作为一种新的分布式机器学习框架应运而生。相关技术中，在联邦学习中参与的用户数量可以达到几十、几百甚至更多，每个客户端本地数据的数据异质性致使联邦学习无法学习更好的全局模型。此外，客户端和中心服务器之间的通讯也存在高延迟和不稳定性。

发明内容

本发明面向教育大数据旨在至少解决现有联邦学习技术中存在的技术问题之一。为此，本发明提出一种基于联邦蒸馏的联邦学习模型的训练方法、系统和介质，能够有效提升联邦学习模型的准确度，提高客户端和中心服务器之间通讯的稳定性及收敛速度。

一方面，本发明实施例提供了一种基于联邦蒸馏的联邦学习模型的训练方法，包括以下步骤：

客户端采用联邦学习算法，基于本地私有数据集训练并更新本地模型；

所述客户端采用公共数据集和更新后的所述本地模型预测局部归一化层的第一输出向量，并向服务器上传所述第一输出向量对应的局部平均输出向量；

服务器对所有所述局部平均输出向量进行全局共识操作并确定全局平均输出向量，向所有所述客户端下发所述全局平均输出向量；

所述客户端在所述公共数据集上，采用所述全局平均输出向量和更新后的所述本地模型进行知识蒸馏，并在所述本地私有数据集上训练回调本地模型。

在一些实施例中，在执行所述客户端采用联邦学习算法，基于本地私有数据集训练并更新本地模型这一步骤之前，所述方法还包括以下步骤：

所述服务器向每个所述客户端发送初始化模型。

在一些实施例中，所述客户端与服务器之间传输模型平均输出向量。

在一些实施例中，所述客户端更新本地模型，包括：

获取部分所述本地私有数据集；

确定本地模型的目标函数对应的梯度信息；

根据所述梯度信息和所述本地私有数据集，采用迭代一阶方式获取近似值。

在一些实施例中，在所述客户端采用公共数据集和更新后的所述本地模型预测局部归一化层的第一输出向量之前，所述方法还包括以下步骤：

计算每个标签的第二输出向量。