[发明专利]一种基于知识迁移的混合联邦学习方法

说明书

本发明公开了一种基于知识迁移的混合联邦学习方法，引入联邦学习中的激励机制，首先由各设备上传数据分布情况，服务器根据目前数据的需求信息进行决策，从而进行基于互信息的数据选择算法，给予上传数据的设备以对应的奖励；然后利用收集到的共享数据，在与各本地设备相同的深度学习模型中训练，得到辅助模型；再将辅助模型的通用知识迁移到聚合模型。在不同的联邦训练轮次，根据设备聚合模型和辅助模型，利用不同的迁移方法将辅助模型的通用知识迁移到聚合模型，可得到优化后的全局模型；本发明可以在少数轮次内为聚合模型提供分别通用特征的能力，从而减少设备模型的本地轮次轮次，实现全局模型的快速收敛以及高准确率。

技术领域

本发明属于深度学习技术领域，具体涉及一种混合联邦学习方法。

背景技术

近年来，随着隐私保护的重要性逐渐显现，联邦学习成为一种大量终端设备联合训练深度学习模型同时保证数据不流出本地的流行的机器学习范式。目前，横向联邦学习聚合了终端本地化无需大量数据传输与物联网海量设备的优势，将模型的推断过程由云端下沉至靠近用户的边端，加强数据隐私的同时，避免不稳定网络状态的影响，提高服务的响应时间，成为了一个理想的研究方向。然而，考虑到设备异构的数据分布情况与不稳定的网络连接，提供高准确率、快速收敛的联邦学习计算模式格外重要。

数据异构是影响联邦学习全局模型收敛最大的挑战。现已有研究者在联邦学习经典算法FedAvg的各个阶段做了改进，如混合联邦学习、设备本地训练、与服务器通信内容、设备模型聚合方式等，其中混合联邦学习是一种新颖的、从数据层面缓和联邦学习中数据异构的方法。混合联邦学习是在联邦学习训练之前，通过共享数据或筛选数据改变数据的分布情况，使得各个设备的数据分布情况变得相同，再混合数据集中式机器学习算法与联邦学习算法进行模型训练。为了保护数据隐私安全与数据传输开销，共享的数据总量一般不超过各个设备数据总量之和的1％。如Hybrid-FL协议相比传统联邦学习算法，首先加入了数据选择的步骤，通过对设备数据分布情况进行采样，对有共享意愿的设备选择少量数据进行收集，从而在服务器构建一个各类别完备，数量均衡的数据集，再基于该数据集训练出一个额外的设备模型加入训练。现有技术的缺点在于，只试图减弱设备的数据异构性，而没有从根本上解决数据异构的问题。

发明内容

为了克服现有技术的不足，本发明提供了一种基于知识迁移的混合联邦学习方法，引入联邦学习中的激励机制，首先由各设备上传数据分布情况，服务器根据目前数据的需求信息进行决策，从而进行基于互信息的数据选择算法，给予上传数据的设备以对应的奖励；然后利用收集到的共享数据，在与各本地设备相同的深度学习模型中训练，得到辅助模型；再将辅助模型的通用知识迁移到聚合模型。在不同的联邦训练轮次，根据设备聚合模型和辅助模型，利用不同的迁移方法将辅助模型的通用知识迁移到聚合模型，可得到优化后的全局模型；本发明可以在少数轮次内为聚合模型提供分别通用特征的能力，从而减少设备模型的本地轮次轮次，实现全局模型的快速收敛以及高准确率。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：构建辅助模型；

引入联邦学习中的激励机制，首先由各设备上传数据分布情况到服务器；

服务器按如下方法进行数据选择，根据得到的目前数据需求程度，给予上传数据的设备以对应的奖励；

所述数据选择算法基于互信息实现，令I(X；Y)表示当前数据的需求程度，其中X表示服务器当前已存储的数据，Y表示设备有意愿共享的数据；计算公式为：

其中，x为X中的数据，y为Y中的数据；p(.)表示概率；

根据收集到的服务器当前已存储的数据X，采用与各本地设备相同的深度学习模型进行训练，得到辅助模型；

步骤2：辅助模型知识迁移；