[发明专利]一种基于自适应本地聚合的个性化联邦学习方法

说明书

本发明公开了一种基于自适应本地聚合的个性化联邦学习方法，涉及联邦学习技术领域，包括以下步骤：服务器发送全局模型Θ⁰到所有客户机中，初始化各个客户机的本地模型；客户机i执行第t轮迭代训练，执行自适应本地聚合，得到初始化本地模型；根据t值判断是否需要进行自适应本地聚合权重训练，以得到新的自适应本地聚合权重并更新初始化本地模型；采用梯度下降方式更新本地模型，并发送到服务器；服务器对接收到的本地模型执行全局聚合生成全局模型Θ^t。本发明能够捕获全局模型中提升本地模型质量的信息，促进本地模型训练，能够应用于现有的其他联邦学习方法，实现全局模型中信息的精准提取，并利用提取到的信息提升模型在各个客户机上的个性化表现。

技术领域

本发明涉及联邦学习技术领域，尤其涉及一种基于自适应本地聚合的个性化联邦学习方法。

背景技术

随着智能终端的不断发展，智能端设备的数量越来越多，每天使用端设备所产生的数据量也呈指数增长态势。然而，由于这些数据的所有权均属某家机构或某位用户，人们出于数据隐私保护和数据资产保护等目的，并不会公开这些端设备上的数据，而是由所有者独自持有。即使目前世界范围内存在大量数据，但因为无法获得来自其他机构或个人的数据使用权，对于某个具体应用而言依旧面临着数据缺乏的问题，即“数据孤岛”现象。近年来，人工智能(AI)依旧保持着高速发展，AI模型的大小也与日俱增，使得庞大的AI模型对于训练数据量的需求也越来越大。通过联邦学习训练AI模型，能够在保护数据隐私的前提下同时利用多个机构或个人的数据，实现信息融合。

联邦学习采用“客户机-服务器”的架构模式，通过迭代训练以下三步直到模型收敛：(1)服务器通过网络发送全局模型到本轮参与训练的客户机；(2)客户机接收全局模型后，覆盖旧本地模型，并在本地数据上进行训练；(3)训练完成后，客户机通过网络上传本地模型到服务器；(4)服务器收到满足设定个数的客户机模型后执行模型聚合，生成新的全局模型。由于在联邦学习过程中，客户机数据并不进行上传，在数据不出本地的情况下完成模型训练，实现在保护数据隐私的情况下训练AI模型。然而，由于各个客户机采集数据的方式或行为等不一致，使得多个客户机之间的数据不满足独立同分布特性，造成全局模型不能适应本地数据和泛化性差等问题。与传统联邦学习获得全局模型的目标不同，个性化联邦学习旨在利用联邦学习过程弥补客户机本地数据量不足的问题，为每个客户机学习一个适用于本地数据集的模型，而如果利用好全局模型中的信息是提升个性化联邦学习模型训练效果的关键之一。

在个性化联邦学习领域，现有的方法通过隐式或粗粒度的方式，从全局模型中为每个客户机提取其所需的信息，容易引入使得本地模型质量下降的信息。此外，由于每个客户机能够根据收到的模型恢复训练数据，现有方法传输其他客户机模型到当前客户机中的方式，提高了数据隐私泄露的风险，同时也提高了网络通讯的代价。

因此，本领域的技术人员致力于开发一种基于自适应本地聚合的个性化联邦学习方法，能够在较低网络通讯代价的情况下，精准地提取全局模型中有利于提高本地模型质量的信息。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何利用全局模型促进本地模型训练，实现全局模型中信息的精准提取。

为实现上述目的，本发明提供了一种基于自适应本地聚合的个性化联邦学习方法，所述方法包括以下步骤：

步骤1、服务器发送初始的全局模型Θ⁰到所有客户机中，初始化各个客户机的本地模型，客户机初始化自适应本地聚合权重；其中，i为客户机编号，t为当前个性化联邦学习的轮数；

步骤2、客户机i执行第t轮迭代训练，根据服务器发送的全局模型Θ^t-1执行自适应本地聚合，得到本次迭代的初始化本地模型；

步骤3、根据t值判断是否需要进行自适应本地聚合权重训练，以得到新的自适应本地聚合权重；若得到新的自适应本地聚合权重，则执行自适应本地聚合更新初始化本地模型；