[发明专利]一种非共享数据的去中心化的分布式学习方法及系统

权利要求书

1.一种非共享数据的去中心化的分布式学习方法，其特征在于包括如下步骤：

S1、系统初始化:服务器对同一结构模型随机初始化参数k份作为k个集群的初始模型，每轮迭代开始时随机选择固定数量的一批参与本轮运算的客户端并将这k个集群的此轮的锚参数分发至各客户端；其中k是自然数；

S2、局部计算：在每个参与本轮运算的客户端上，向k个集群模型分别输入本地数据并得到目标函数的损失值，选择最小损失值所对应的集群模型，使用随机梯度下降法本地训练此集群模型τ步，得到的参数与当前对应集群的锚参数做融合并向服务器返回此参数；

包括：S2-1、在第t轮t∈{0,1,…,T-1}中，服务器随机选择部分客户端作为本轮参与方向它们发送当前k个全局模型参数此也是本轮迭代计算的锚；T表示预先根据经验设定的最大迭代次数，m表示m个客户端；

S3、中心聚合、模型更新：服务器对k个集群做汇总，对各集群本轮迭代收到的参数做平均聚合为此轮迭代此集群的全局模型，也为下一轮此集群的锚参数；

以提高在面对非独立同分布数据时的收敛速度与稳定性，从而能适应客户端设备异构、数据分布各异、训练数据非独立同分布和客户端-服务器间通信效率低的数据密集型任务。

2.如权利要求1所述的方法，其特征在于，所述非共享数据的去中心化的分布式学习是拥有m个客户端的联邦学习框架，服务器可和各客户端通过预先定义的通信协议交流信息。

3.如权利要求2所述的方法，其特征在于：步骤S1中，假设总共有k种数据分布m个客户端的本地数据均服从其中某个数据分布，人为设计k组集群模型初始参数，使得各客户端上特定数据分布可从属至对应集群并在有限训练过程中更新其参数。

4.如权利要求1所述的方法，其特征在于，所述步骤S2中还包括：S2-2、每个参与方接受参数并逐个计算本地经验损失F_i(·)，选择经验损失最小即认为从属该集群，即

5.如权利要求4所述的方法，其特征在于，所述步骤S2中还包括：S2-3、继续在该集群模型上使用随机梯度下降法更新τ步，得到更新后的本地参数使用锚方法计算出最终的本地参数其中α是“拉回”变量，表示控制向锚靠拢的力度，并将其与共同发送给服务器。

6.如权利要求1所述的方法，其特征在于，所述步骤S3具体包括：服务器收到所有参与方返回的信息后，对每个集群j∈{1,2,…,k}汇总本轮迭代中属于此集群的参与方M_t,j及数量n，得到下一轮此集群的全局模型依此循环，直到达到预先根据经验设定的全局迭代次数T。

7.一种非共享数据的去中心化的分布式学习系统，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1-6中任一项所述的方法。

8.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序可被执行以实现如权利要求1-6中任一项所述的方法。