[发明专利]联邦学习的方法、装置及系统

权利要求书

1.一种联邦学习的方法，其特征在于，所述方法与联邦服务器基于压缩的更新梯度实现模型的训练，包括：

客户端接收联邦服务器统一发送的初始模型，基于本地数据及初始模型训练得到更新的梯度，并将所述初始模型的最后k层更新的梯度发送至所述联邦服务器，所述初始模型为p层结构，1≤k＜p；

统计将所述初始模型的最后k层更新的梯度发送至所述联邦服务器的连续次数，每一轮模型训练对应一次；

若所述连续次数达到预设次数，则执行一次将最后一轮模型训练后得到的所有层的更新的梯度发送给所述联邦服务器，以便所述联邦服务器对各客户端发送的所有层的更新的梯度依次进行聚合处理和奇异值分解得到第三全局更新梯度；

接收所述第三全局更新梯度，并根据所述第三全局更新梯度继续进行模型的训练。

2.根据权利要求1所述的联邦学习的方法，其特征在于，所述压缩的更新梯度具体为第一全局更新梯度，所述与联邦服务器基于压缩的更新梯度实现模型的训练包括：

客户端接收联邦服务器统一发送的初始模型，基于本地数据及初始模型训练得到更新的梯度，并发送至所述联邦服务器；

所述客户端接收所述联邦服务器发送的第一全局更新梯度，并根据所述第一全局更新梯度继续进行模型的训练，所述第一全局更新梯度为所述联邦服务器对各客户端发送的更新梯度依次进行聚合处理和奇异值分解得到。

3.根据权利要求1所述的联邦学习的方法，其特征在于，所述压缩的更新梯度具体为第二全局更新梯度，所述与联邦服务器基于压缩的更新梯度进行模型的训练包括：

所述客户端接收所述联邦服务器发送的所述第二全局更新梯度，并根据所述第二全局更新梯度逐层计算其它层的全局更新梯度，所述第二全局更新梯度为联邦服务器对各客户端发送的最后k层更新的梯度进行聚合处理得到；

所述客户端根据所述第二全局更新梯度以及所述其它层的全局更新梯度继续进行模型的训练。

4.根据权利要求2所述的联邦学习的方法，其特征在于，所述根据所述第一全局更新梯度继续进行模型的训练包括：

对所述第一全局更新梯度的矩阵进行矩阵恢复处理后，继续进行模型的训练。

5.一种联邦学习的方法，其特征在于，所述方法与各客户端基于压缩的更新梯度实现模型的训练，包括：

联邦服务器将初始模型统一发送给各客户端，以便各客户端基于本地数据及初始模型进行训练后得到更新的梯度，所述初始模型为p层结构；

所述联邦服务器接收各客户端发送的各自对应的所述初始模型的最后k层更新的梯度，1≤k＜p；

统计接收各客户端发送到所述初始模型的最后k层更新的梯度的连续次数，每一轮模型训练对应一次；

若所述连续次数达到预设次数，则执行一次接收客户端发送的最后一轮模型训练后得到的所有层的更新的梯度，以便所述联邦服务器对各客户端发送的所有层的更新的梯度依次进行聚合处理和奇异值分解得到第三全局更新梯度；

向所述客户端发送所述第三全局更新梯度，并根据所述第三全局更新梯度继续进行模型的训练。

6.根据权利要求5所述的联邦学习的方法，其特征在于，所述压缩的更新梯度具体为第一全局更新梯度，所述与各客户端基于压缩的更新梯度实现模型的训练包括：

联邦服务器将初始模型统一发送给各客户端，以便各客户端基于本地数据及初始模型进行训练后得到更新的梯度；

接收各客户端发送的各自的更新的梯度，并对各客户端发送的各自的更新的梯度依次进行聚合处理和奇异值分解得到所述第一全局更新梯度；

将所述第一全局更新梯度返回给各客户端，以便各客户端根据所述第一全局更新梯度继续进行模型的训练。

7.根据权利要求5所述的联邦学习的方法，其特征在于，所述压缩的更新梯度具体为第二全局更新梯度，所述与各客户端基于压缩的更新梯度实现模型的训练包括：

对各客户端发送的最后k层更新的梯度进行聚合处理得到所述第二全局更新梯度；

将所述第二全局更新梯度发送给各客户端，以便各客户端根据所述第二全局更新梯度逐层计算各自其它层的全局更新梯度。