[发明专利]一种基于核心数据集的联邦学习通信量优化方法及系统

权利要求书

1.一种基于核心数据集的联邦学习通信量优化方法，其特征在于：包括以下步骤，

步骤S1，核心数据集构建。给定数据集D中所有数据点的权重集合损失函数容忍度ε(0＜ε＜1)、错误率δ(0＜δ＜1)以及参数R，从D中筛选核心数据集M，使损失函数满足|f(D)-f(M)|≤ε|f(D)|。

步骤S2，稀疏化模型构建。根据给定的模型稀疏化比例α，构建稀疏化的全局模型。

步骤S3，云中心初始化。根据构建的稀疏化全局模型，初始化全局模型参数W₀，全局模型更新参数U₀，迭代轮数T，上传的总参数量Ω。

步骤S4，本地模型训练。每个终端用户C_r(r＝1,2...,n)并行地进行本地模型训练，得到本地模型更新参数H_r(r＝1,2,...,n)，并将其本地模型更新参数上传至云中心。

步骤S5，全局模型更新。云中心根据终端用户上传的本地模型更新参数，计算得到当前迭代轮数t(t≤T)的全局模型更新U_t以及全局模型参数W_t。

步骤S6，全局模型结构调整。根据全局模型参数W_t以及设置的不重要连接移除比例β，移除全局模型中不重要的网络连接，同时增加β比例的重要连接。

步骤S7，全局模型分发。将调整之后的全局模型以及模型参数分发给每个终端用户，并开始下一轮迭代。

2.根据权利要求1所述一种基于核心数据集的联邦学习通信量优化方法，其特征在于，所述步骤S1包括以下子步骤：

步骤S1-2，计算D中每个数据点i的冗余度m_i，其计算公式如下：

其中，表示第k个聚类簇中除去数据点i之后所有数据点的权重和，表示数据点i与第k个聚类簇中所有数据点的加权平均距离。

步骤S1-3，计算D中每个数据点i归一化的冗余度P_i，其计算公式如下：

步骤S1-4，计算D中所有数据点的冗余度平均值其计算公式如下：

步骤S1-5，根据冗余度平均值损失函数容忍度ε，错误率δ，计算核心数据集M的大小，其计算公式如下：

其中，c为一个固定的常数。

步骤S1-6，根据公式(2)和公式(4)，从D中筛选核心数据集M。

3.根据权利要求1所述一种基于核心数据集的联邦学习通信量优化方法，其特征在于，所述步骤S2包括以下子步骤，

步骤S2-2，根据模型稀疏化比例α以及网络连接概率稀疏化全连接网络模型，其公式如下：

其中，n^l和n^l-1分别表示全连接网络模型中第l层和第l-1层神经元的个数，则表示第l层的神经元i与第l-1层的神经元j的连接概率。