[发明专利]一种基于知识迁移的混合联邦学习方法

权利要求书

1.一种基于知识迁移的混合联邦学习方法，其特征在于，包括如下步骤：

步骤1：构建辅助模型；

引入联邦学习中的激励机制，首先由各设备上传数据分布情况到服务器；

服务器按如下方法进行数据选择，根据得到的目前数据需求程度，给予上传数据的设备以对应的奖励；

所述数据选择算法基于互信息实现，令I(X；Y)表示当前数据的需求程度，其中X表示服务器当前已存储的数据，Y表示设备有意愿共享的数据；计算公式为：

其中，x为X中的数据，y为Y中的数据；p(.)表示概率；

根据收集到的服务器当前已存储的数据X，采用与各本地设备相同的深度学习模型进行训练，得到辅助模型；

步骤2：辅助模型知识迁移；

步骤2-1：将辅助模型的通用知识迁移到设备聚合模型，如式(2)所示：

其中，表示设备聚合模型，ω_a表示辅助模型，t表示轮次，F^t表示迁移方法，表示优化后的全局模型；

步骤2-2：所述迁移方法F分为直接迁移i-transfer与动态迁移c-transfer两种；

所述直接迁移i-transfer在联邦训练的第一轮，将辅助模型的部分层的初始参数复制到设备聚合模型的对应层次，完成知识迁移过程；具体迁移的层数为深度神经网络中学习通用特征的层数；

所述动态迁移在联邦学习的每一轮发生，根据深度神经网络浅层数目决定迁移的初始层数，每过若干轮后，减少一层复制的层数，直至复制的层数为0。

2.根据权利要求1所述的一种基于知识迁移的混合联邦学习方法，其特征在于，所述数据分布情况包括样本类别信息和各类别样本数量。