[发明专利]通信高效联合学习

权利要求书

1.一种用于通信高效机器学习的计算机实现的方法，所述方法包括：

由客户端计算设备获得机器学习模型的参数集的全局值；

由所述客户端计算设备至少部分地基于本地数据集来训练所述机器学习模型以获得更新矩阵，所述更新矩阵描述所述机器学习模型的所述参数集的经更新值，其中，所述更新矩阵被约束为具有预定义的结构，并且其中，所述本地数据集由所述客户端计算设备本地存储；以及

由所述客户端计算设备将描述所述更新矩阵的信息传送到服务器计算设备，其中：

由所述客户端计算设备至少部分地基于所述本地数据集来训练所述机器学习模型以获得所述更新矩阵包括：

由所述客户端计算设备将所述更新矩阵定义为第一矩阵与第二矩阵的乘积，其中，所述第一矩阵包括固定值并且所述第二矩阵包括能够优化的变量；以及

由所述客户端计算设备至少部分地基于所述本地数据集来训练所述机器学习模型以获得所述第二矩阵；以及

由所述客户端计算设备将描述所述更新矩阵的信息传送到所述服务器计算设备包括：由所述客户端计算设备将描述所述第二矩阵的信息传送到所述服务器计算设备。

2.根据权利要求1所述的计算机实现的方法，其中，所述更新矩阵被约束为低秩矩阵。

3.根据权利要求1所述的计算机实现的方法，进一步包括，在由所述客户端计算设备训练所述机器学习模型之前：

由所述客户端计算设备至少部分地基于种子和伪随机数生成器来生成所述第一矩阵，其中，所述客户端计算设备和所述服务器计算设备二者均知晓所述种子，使得所述第一矩阵能够由所述服务器计算设备重现。

4.根据权利要求1-2中的任一项所述的计算机实现的方法，其中，所述更新矩阵被约束为稀疏矩阵。

5.根据权利要求1-2中的任一项所述的计算机实现的方法，其中，由所述客户端计算设备至少部分地基于所述本地数据集来训练所述机器学习模型包括：由所述客户端计算设备至少部分地基于所述本地数据集来训练所述机器学习模型以使得仅对于所述参数集的预选部分确定所述经更新值，所述更新矩阵仅描述所述参数集的所述预选部分的所述经更新值。

6.根据权利要求5所述的计算机实现的方法，进一步包括，在由所述客户端计算设备训练所述机器学习模型之前：

由所述客户端计算设备生成参数掩码，所述参数掩码指定所述参数集中的哪些参数被包括于所述参数集的所述预选部分中。

7.根据权利要求6所述的计算机实现的方法，其中，由所述客户端计算设备生成所述参数掩码包括：由所述客户端计算设备至少部分地基于种子和伪随机数生成器来生成所述参数掩码，其中，所述客户端计算设备和所述服务器计算设备均知晓所述种子，使得所述参数掩码能够由所述服务器计算设备重现。

8.根据权利要求1-2中的任一项所述的计算机实现的方法，其中，所述更新矩阵描述所述参数集的所述经更新值或者所述经更新值与所述全局值之间的相应差异。

9.一种客户端计算设备，包括：

至少一个处理器；以及

存储指令的至少一个非暂时性计算机可读存储介质，所述指令在由所述至少一个处理器执行时，使得所述客户端计算设备执行操作，所述操作包括：

获得机器学习模型的参数集的全局值；

至少部分地基于本地数据集来训练所述机器学习模型获得更新矩阵，所述更新矩阵描述所述机器学习模型的所述参数集的经更新值，并且其中，所述本地数据集由所述客户端计算设备本地存储；

压缩所述更新矩阵，其中压缩所述更新矩阵包括编码所述更新矩阵以获得经编码更新，所述编码包括子采样、量化和/或随机旋转；以及

将所述经编码更新传送到服务器计算设备。

10.根据权利要求9所述的客户端计算设备，其中，对所述更新矩阵进行子采样包括：

生成参数掩码，所述参数掩码指定所述参数集的待采样的一部分；以及

根据所述参数掩码来对所述更新矩阵进行子采样。